互联网软件的开发和发布,已经形成了一套标准流程,最重要的组成部分就是持续集成(Continuous integration,简称CI)。
本文简要介绍持续集成的概念和做法。
一、概念
持续集成指的是,频繁地(一天多次)将代码集成到主干。
它的好处主要有两个。
(1)快速发现错误。每完成一点更新,就集成到主干,可以快速发现错误,定位错误也比较容易。
(2)防止分支大幅偏离主干。如果不是经常集成,主干又在不断更新,会导致以后集成的难度变大,甚至难以集成。
持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。它的核心措施是,代码集成到主干之前,必须通过自动化测试。只要有一个测试用例失败,就不能集成。
Martin Fowler说过,"持续集成并不能消除Bug,而是让它们非常容易发现和改正。"
与持续集成相关的,还有两个概念,分别是持续交付和持续部署。
二、持续交付
持续交付(Continuous delivery)指的是,频繁地将软件的新版本,交付给质量团队或者用户,以供评审。如果评审通过,代码就进入生产阶段。
持续交付可以看作持续集成的下一步。它强调的是,不管怎么更新,软件是随时随地可以交付的。
三、持续部署
持续部署(continuous deployment)是持续交付的下一步,指的是代码通过评审以后,自动部署到生产环境。
持续部署的目标是,代码在任何时刻都是可部署的,可以进入生产阶段。
持续部署的前提是能自动化完成测试、构建、部署等步骤。它与持续交付的区别,可以参考下图。
(图片来源)
四、流程
根据持续集成的设计,代码从提交到生产,整个过程有以下几步。
4.1 提交
流程的第一步,是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交(commit)。
4.2 测试(第一轮)
代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试。
测试有好几种。
- 单元测试:针对函数或模块的测试
- 集成测试:针对整体产品的某个功能的测试,又称功能测试
- 端对端测试:从用户界面直达数据库的全链路测试
第一轮至少要跑单元测试。
4.3 构建
通过第一轮测试,代码就可以合并进主干,就算可以交付了。
交付后,就先进行构建(build),再进入第二轮测试。所谓构建,指的是将源码转换为可以运行的实际代码,比如安装依赖,配置各种资源(样式表、JS脚本、图片)等等。
常用的构建工具如下。
Jenkins和Strider是开源软件,Travis和Codeship对于开源项目可以免费使用。它们都会将构建和测试,在一次运行中执行完成。
4.4 测试(第二轮)
构建完成,就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容,第二轮可以省略,当然,这时构建步骤也要移到第一轮测试前面。
第二轮是全面测试,单元测试和集成测试都会跑,有条件的话,也要做端对端测试。所有测试以自动化为主,少数无法自动化的测试用例,就要人工跑。
需要强调的是,新版本的每一个更新点都必须测试到。如果测试的覆盖率不高,进入后面的部署阶段后,很可能会出现严重的问题。
4.5 部署
通过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包( tar filename.tar *
)存档,发到生产服务器。
生产服务器将打包文件,解包成本地的一个目录,再将运行路径的符号链接(symlink)指向这个目录,然后重新启动应用。这方面的部署工具有Ansible,Chef,Puppet等。
4.6 回滚
一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指向上一个版本的目录。
五、参考链接
- Gergely Nemeth, Continuous Deployment of Node.js Applications
- Codeship, Continuous Integration Essentials
(完)
Min 说:
生产流程越来越成熟,可惜小公司很多流程都省了,这种第一手经验只有在大公司才能得到。
2015年9月24日 20:16 | # | 引用
woosley 说:
请问你这里使用的图片是引用还是自己画的?如果是自己画的使用什么工具啊?
2015年9月24日 20:50 | # | 引用
豆瓣先生 说:
travis的网站打开只有一句话Do you have a question?找了下现在应该是这个https://travis-ci.com/。
2015年9月25日 14:26 | # | 引用
quant67 说:
哈,我实习的组原来一直都用的持续集成!
2015年9月26日 14:49 | # | 引用
xray 说:
Continuous Delivery vs Continuous Deployment
2015年9月27日 20:43 | # | 引用
李福磊 说:
我认为 持续集成的下一个阶段时持续部署,快速发布软件的实践合集是持续交付
2015年9月28日 18:08 | # | 引用
李福磊 说:
http://continuousdelivery.com/
2015年9月28日 18:10 | # | 引用
蓬stephen蓬 说:
阮老师讲的“持续集成”,正好是我在公司做了将近半年多互联网项目的一个工作流程。我们项目经历了两期,每期都要进行十几次迭代,每次迭代都会在上一个迭代的基础上增加几个新功能,并且公司要求开发人员在编码前要先提交该功能的单体测试和集成测试的代码,然后才能开始写代码(所谓的测试驱动开发),然后测试人员要负责写端到端的自动化测试代码。公司用Jenkins进行持续集成,SVN管理代码库,Git进行团队开发,Sonar进行代码质量检查。项目成员每天早晨都会收到Jenkins服务器发来的前一天的集成测试报告,通知前一天的提交是否完全通过。经历了这样一个持续迭代的过程,给客户交付的代码质量有保证,很少或几乎没有出现过回滚的情况。
2015年9月28日 22:13 | # | 引用
meijing0114 说:
@蓬stephen蓬:
这个过程很赞啊,开发的时web端的代码么?git开发与svn的代码库并不矛盾?
2015年9月29日 13:07 | # | 引用
Willizm 说:
解释得很清晰,我也是今年通过项目上接触到jenkins,然后又了解到gitflow,真正感觉到持续集成带来的巨大效率提升。
2015年9月29日 18:07 | # | 引用
盗8 说:
woosley ,会写文章的就不会画图,图片肯定是其他地方来的。
2015年10月 8日 09:57 | # | 引用
不贰过 说:
阮老师讲的“持续集成”,正好是我在公司做了将近半年多互联网项目的一个工作流程。我们项目经历了两期,每期都要进行十几次迭代,每次迭代都会在上一个迭代的基础上增加几个新功能,并且公司要求开发人员在编码前要先提交该功能的单体测试和集成测试的代码,然后才能开始写代码(所谓的测试驱动开发),然后测试人员要负责写端到端的自动化测试代码。公司用Jenkins进行持续集成,SVN管理代码库,Git进行团队开发,Sonar进行代码质量检查。项目成员每天早晨都会收到Jenkins服务器发来的前一天的集成测试报告,通知前一天的提交是否完全通过。经历了这样一个持续迭代的过程,给客户交付的代码质量有保证,很少或几乎没有出现过回滚的情况。经历了这样一个持续迭代的过程,给客户交付的代码质量有保证,很少或几乎没有出现过回滚的情况。经历了这样一个持续迭代的过程,给客户交付的代码质量有保证,很少或几乎没有出现过回滚的情况。经历了这样一个持续迭代的过程,给客户交付的代码质量有保证,很少或几乎没有出现过回滚的情况。经历了这样一个持续迭代的过程,给客户交付的代码质量有保证,很少或几乎没有出现过回滚的情况。
2015年10月11日 14:26 | # | 引用
钊王 说:
敏捷模式下现在单元测试已经很少了
2015年10月11日 18:53 | # | 引用
郭寰 说:
阮老师的科技文翻译的很独到,能不能向老师讨教一下您是怎么看科技文翻译的,特别是在概念隐喻的角度,可以就《黑客与画家》发一篇有关译者经验的博文吗,老师已将许久没更新过有关英语方面的东西了
2015年10月11日 19:16 | # | 引用
王志艺 说:
阮老师的文章我看了一些
2015年11月 1日 13:49 | # | 引用
Ben 说:
关于持续集成请看马大叔的文章
http://www.martinfowler.com/articles/continuousIntegration.html
2015年11月 3日 17:43 | # | 引用
eshizhan 说:
补充个知名的Buildbot
2015年11月26日 16:27 | # | 引用
哲夫成城 说:
有一点问题,“构建” 为什么排在 “测试(第一轮)” 的后面?就算只是单元测试,像Java/C这种静态语言,不构建能跑起来吗?
2015年12月 7日 12:00 | # | 引用
yaoelvon 说:
感谢分享,前段时间leader刚给我讲了自动集成部分的知识,正在逐渐部署起来~
2016年1月16日 17:07 | # | 引用
lulu 说:
iOS上的持续集成,有什么可以参考的么?
2017年2月21日 18:13 | # | 引用
雾霾 说:
kyson大神的还可以:
iOS 中使用Jenkins进行持续集成:http://kyson.cn/index.php/archives/34/
2017年2月21日 18:16 | # | 引用
孙景卫 说:
算是比较基础的CI的文章了。
2017年4月17日 12:05 | # | 引用
shauew 说:
正在研究这个,谢谢阮老师的讲解。
2017年4月21日 11:23 | # | 引用
啸生 说:
Jenkins 并不是单纯的构建工具 ~~
2018年1月 7日 19:40 | # | 引用