轻舟已过万重山——真正的技术派公司是怎么联调、测试和发布的?

郑昀 创建于2017/3/8 最后更新于2017/3/10

关键词:研发协作,Docker,环境变量,开发联调,环境维护,虚拟机,中间件,配置与代码分离,git,jenkins

开发联调,测试,预发,生产,稍微上规模的互联网技术团队,每一次发布都需要经历这四个阶段。每一个阶段都对应于一个环境。所以我们会面对:
开发联调环境,测试环境,预发环境,生产环境。

产品线若干条。并发多个版本。工程无数,有Java,有PHP,有中间件。
说句狠话:没有趁手的利器,生产效率打完对折再打对折,勿谓言之不预也

云纵有 CloudEngine,如我的《私有云的难处—为什么需要CloudEngine?》和《#研发解决方案#研发协作平台CloudEngine》文章所述,我以为能非常流畅地打通这四个环境,即使生产环境是混合云,即使应用可能发布在Docker容器里也可能发布在虚拟机里。

陈皓同学在《从Gitlab误删除数据库想到的》中说道:

一个公司的运维能力的强弱和你上线上环境敲命令是有关的,你越是喜欢上线敲命令,你的运维能力就越弱,越是通过自动化来处理问题,你的运维能力就越强。

而我希望的是:

环境维护,应用部署,只是勾勾点点,没有心理负担,dont make me think。 一个代码分支,对应的一个包(或镜像,对应于
Docker 的
Image),可以流经开发联调环境、测试环境,直接上预发环境,上生产环境,上云端,一路穿行没有障碍,全程无需手工干预,无需手工改配置文件重新打包。

这么思考问题的原因也很简单,我们笃信工程师文化,靠技术而不是管理解决问题,正如陈皓同学所言:

如果你是一个技术公司,你就会更多的相信技术而不是管理。相信技术会用技术来解决问题。相信管理,那就只会由制度、流程和价值观来解决问题。

那么怎么办到呢?
先来一个管中窥豹:
《轻舟已过万重山——真正的技术派公司是怎么联调、测试和发布的?》
图0 管中窥豹,CE里是怎么申请服务器资源的
再来品尝一下关键点。

一,用工具管好配置

我之前说过:

要做到真正的大环境一致,必须将配置完全与代码分离,这里的配置不仅仅是服务之间的 IP
地址/内部域名/自动发现,还包括不同环境下不同应用的配置参数等。 首先我们把与环境相关的参数都存储在持久化配置中心里,比如 redis/zk
的访问域名,比如第三方合作伙伴的接口IP地址等。 其次,每个应用也都有自己的配置模板,不同环境部署的应用默认继承配置模板,我们可以通过
CloudEngine 对配置做一些微调,也就是下面要讲到的“临时属性信息”了。

CloudEngine 和 SimpleWay 会把环境标识(如 dev/dev-stable/test/test-stable/product 等)和需求工单号,以环境变量的方式打入“服务器”(即容器或虚拟机)里。
工程通过环境变量确认自己在哪一个环境里,对应哪一个需求工单,从而从持久化配置中心读取到当前环境和当前需求对应的属性信息。

所谓属性信息有三类:
1)环境属性信息:
环境的配置信息在环境层级设置,对应于“环境管理”菜单。比如开发稳定环境下的环境变量,我可以通过如下界面统一配置:
《轻舟已过万重山——真正的技术派公司是怎么联调、测试和发布的?》
(图1 环境属性信息)

2)应用属性信息:
应用的配置信息在应用层级设置,对应于“应用管理”菜单。比如janus工程(Java)的应用配置,我可以通过如下界面来配置:
《轻舟已过万重山——真正的技术派公司是怎么联调、测试和发布的?》
(图2 应用属性信息)

3)临时属性信息:
应用实例的配置信息在服务器层级设置,对应于“服务器管理”菜单。也就是这次我申请机器资源时,可以通过如下界面设置好临时属性信息,只有这个应用实例能访问到:
《轻舟已过万重山——真正的技术派公司是怎么联调、测试和发布的?》
(图3 临时属性信息)

二,区分出稳定环境和非稳定环境

以前没有 CloudEngine 的时候,我们会维护三套测试环境:常规分支测试环境,紧急分支测试环境,特殊分支测试环境。分别对应于上线的班车模式(每周固定发车),警车模式(bugfix),专车模式(版本很大,开发和测试周期较长)。
维护三套测试环境,真心累。
现在只需要维护一套测试环境。
那么问题来了,多个需求工单,怎么在一套环境里并行测试?
秘诀就是,在环境里再建一个稳定环境(Stable)。

稳定环境里的应用,只会部署 Release 版本。
根据需求工单申请的新服务器资源,可以访问稳定环境里的业务中心,至少能保证相关业务能正常运行,不会说突然功能不能用了,突然服务宕机了。

三,外网请求如何路由

如果开发联调环境和测试环境里的应用需要接受外网的请求,那么在 CloudEngine 里也不需要反复申请外网域名。统一使用 router.yourcompany.com 域名接受外网请求,然后通过 nginx 转发请求到相应的内网应用。
《轻舟已过万重山——真正的技术派公司是怎么联调、测试和发布的?》
图4 是否需要接受外网请求

四,与git紧密结合

在相应的环境里,申请服务器资源时,你不需要键入 git 的代码分支,你输入应用名称,选好应用之后,系统会自动列出相应的分支,智能吧:
《轻舟已过万重山——真正的技术派公司是怎么联调、测试和发布的?》
(图5 分支自动展现)

这充分体现了我们的哲学:dont make me think

五,小结

我们技术团队可以标准化输出的成体系的通用技术能力有:

1)
基于虚拟机集群和容器集群的研发协作平台:
申请服务器资源(虚拟机或容器),自动化构建,自动化部署,可自动发布到我们自己的公司机房、阿里云、蚂蚁金融云和IDC机房,支持版本回滚;

2)
电商全套中间件解决方案:

  1. 定时任务管理与调度平台,

  2. 异步消息可靠推送系统,

  3. 分布式并行计算调度和管理系统,

  4. 一站式智能监控报警平台,

  5. 分布式跟踪系统,

  6. 分布式缓存管理系统,

  7. 数据库自动化运维平台,

3)
大数据全套解决方案:

  1. 自助式报表平台,

  2. 即席查询系统,

  3. 数据库变更订阅中心,

  4. 实时数据大屏发布平台,

  5. 大数据计算任务发布管理平台,

4)
运维基础设施:

  1. 运维自动化平台,

  2. 云平台基础(虚拟机集群和容器集群),

  3. 大数据分析栈架构。

此体系绝非一朝一夕所能搭建,这是秉承着平凡人做非凡事的理念,一群信仰技术的工程师边开飞机边换引擎,花了几年岁月建造的森严有序的技术体系。

-EOF-

    原文作者:郑昀
    原文地址: https://segmentfault.com/a/1190000008901787
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞