在互联网应用快速更新迭代的大背景下,传统的人工手动或简单脚本已经不能适应此变化,此时Devops为我们提供了良好的解决方案,应用好CI/CD可以大大的方便我们的日常工作,自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。
如上图实例,简单花了下流程拓扑:
名称 | 版本 |
---|---|
Linux系统 | CentOS7.3 64位 |
Docker | 1.13 |
Django | 2.0 |
Jenkins安装部署可参考:jenkins笔记
Docker安装部署及Dockerfile编写可参考:容器Docker详解
GitLab安装在公网Linux服务器运行一些命令即可,如果没有公网需要手动修改 /etc/gitlab/gitlab.rb
文件的 external_url 'http://自己的内网IP'
yum install -y libsemanage-static libsemanage-devel policycoreutils openss h-server openssh-clients postfix systemctl enable postfix && systemctl start postfix wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0. 0-ce.0.el7.x86_64.rpm rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm # 获取公网IP PUBLICIP=$(curl http://ipv4.icanhazip.com) # 修改 sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb gitlab-ctl reconfigure gitlab-ctl restart echo "Username:root" echo "Password:5iveL!fe" 复制代码
jenkins安装插件:
生成随机token值
将jenkins生成的GitLab webhook URL配置到gitlab
邮件模版,邮件类型选择: 内容类型选择:HTML 邮件主题填写: 构建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !
构建通知模版:
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title> </head> <body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4" offset="0"> <table width="95%" cellpadding="0" cellspacing="0" style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif"> <tr> <td>(本邮件是程序自动下发的,请勿回复!)</td> </tr> <tr> <td><h2> <font color="#0000FF">构建结果 - ${BUILD_STATUS}</font> </h2></td> </tr> <tr> <td><br /> <b><font color="#0B610B">构建信息</font></b> <hr size="2" width="100%" align="center" /></td> </tr> <tr> <td> <ul> <li>项目名称 : ${PROJECT_NAME}</li> <li>构建编号 : 第${BUILD_NUMBER}次构建</li> <li>SVN 版本: ${SVN_REVISION}</li> <li>触发原因: ${CAUSE}</li> <li>构建日志: <a href="${BUILD_URL}console">${BUILD_URL}console</a></li> <li>构建 Url : <a href="${BUILD_URL}">${BUILD_URL}</a></li> <li>工作目录 : <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li> <li>项目 Url : <a href="${PROJECT_URL}">${PROJECT_URL}</a></li> </ul> </td> </tr> <tr> <td><b><font color="#0B610B">Changes Since Last Successful Build:</font></b> <hr size="2" width="100%" align="center" /></td> </tr> <tr> <td> <ul> <li>历史变更记录 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li> </ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat=" %p"} </td> </tr> <tr> <td><b>Failed Test Results</b> <hr size="2" width="100%" align="center" /></td> </tr> <tr> <td><pre style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre> <br /></td> </tr> <tr> <td><b><font color="#0B610B">构建日志 (最后 100行):</font></b> <hr size="2" width="100%" align="center" /></td> </tr> <!-- <tr> <td>Test Logs (if test has ran): <a href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a> <br /> <br /> </td> </tr> --> <tr> <td><textarea cols="80" rows="30" readonly="readonly" style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea> </td> </tr> </table> </body> </html> 复制代码
触发类型可根据自身需要填写,这里填写always无论成功还是失败都发送邮件
之前利用的是纯净的Python3.6系统,在每次构建的时候利用pip安装requirements.txt的模块,但是长此以往由于环境变化很少,每次需要pip安装耗时,所以利用conda将打包好的Python环境自制成定制化环境,以此来减少环境部署时间,也可以通过docker镜像制作是-v参数将本地磁盘挂载在环境内,每次构建本地的conda即可,完成快速环境部署。
查看Dockerfile
FROM 87a69025db6a MAINTAINER kaliarch # 定义docker中工作目录 ENV WORK_DIR /work/ # 创建docker内工作目录 RUN mkdir $WORK_DIR # 定义映射端口 EXPOSE 80 WORKDIR $WORK_DIR RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git # 添加启动服务脚本 ADD *.sh ${WORK_DIR} CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log 复制代码
查看Django启动脚本
#!/bin/bash BASEPATH=$(cd `dirname $0`;pwd) PY_CMD=/python3/bin/python # 服务入口文件 #MAIN_APP=${BASEPATH}/go2cloud/manage.py # 迁移脚本入口文件 SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py # 删除脚本入口文件 DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py # 日志目录 LOG_DIR=${BASEPATH}/logs/ [ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR} # 启动服务 #nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 & # 启动脚本迁移调度脚本 echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 & # 启动迁移删除脚本 echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 & 复制代码
查看jenkins部署脚本
#!/bin/bash release=$1 port=$2 BASEPATH=$(cd `dirname $0`;pwd) # 构建go2cloud-platform 镜像 cd /dockerwork docker build -t go2cloud-platform-mini:$release . IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}') echo $IMGNAME # 启动容器 docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME} 复制代码
利用-v参数将日志持续化存储到docker 宿主机之上