民生运维参加DevOps技术峰会纪实

Posted 2021-04-16 民生运维

6月29日-30日，北京夏日炎炎，国内唯一的国际性DevOps技术峰会——DOIS（DevOps International Summit）在朝阳悠唐皇冠假日酒店盛大举行。峰会由 OSCAR 联盟指导、DevOps 时代社区与高效运维社区联合主办，邀请全球互联网、金融、通讯等一线企业的100余名顶级专家畅谈 DevOps 体系与实践、工具与技术，吸引了国内外数百家企业上千人共享这场饕餮盛宴。

如此重要的技术峰怎么能少了民生运维的参与？本次峰会民生运维作为自媒体支持方与高校运维社区展开全方位的合作，民生银行数据中心更是派出了20人的团队出席了为期两天的峰会。团队成员均来自民生银行信息科技部负责生产运营工作的同事，包括应用运维、系统管理、网络管理、云技术平台、生产调度等重要条线，足见民生科技对本次峰会的充分重视以及对新技术，新模式、新体系不断探索的决心。

民生运维以自媒体合作方的身份参加峰会

值得关注的是DevOps峰会组织方邀请民生银行数据中心资深运维专家封铨贤分享民生银行分布式核心系统的运维实践经验——《当分布式核心遇到DevOps》。

交流

大会首日上午由中国信息通信研究院旗下云计算开源产业联盟（OSCAR联盟）、高效运维社区和DevOps时代社区联合发起了国内外首个DevOps标准——研发运营一体化（DevOps）能力成熟度模型。

该模型覆盖端到端软件模型交付生命周期全流程，是一套体系化的方法论、实践和标准的集合

全球DevOps领军人物John Willis来到大会现场分享DevOps发展的十年。当见到心中的偶像时，峰会上无数技术大咖们瞬间变成迷弟迷妹。

Google senior SRE Cameron Tuckerman-Lee带来精彩演讲《Google SRE: Reliability for a Planet-ZScale infrastructure》，明明可以靠颜值，却偏偏靠才华。

为期两天的DOIS峰会汇聚全球一线互联网公司，金融、通讯等传统大型企业的数百名专家就DevOps、AIOps体系下的众多技术领域展开交流，分享实践经验，畅谈未来发展方向。

分享

在29日下午的金融专场，来自民生银行分布式核心系统运维团队的封铨贤老师带来精彩演讲：《当分布式核心遇到DevOps》。封铨贤分享了民生银行分布式核心建设过程中的心路历程，以及在DevOps模式下构建核心系统服务交付过程的实践，并畅谈了DevOps对未来金融企业IT转型有何重要意义。

金融专场还邀请来自中国银行、宜信、招商银、BBVA银行、ING银行、道福银行、汇丰银行的技术大咖分享国内外金融企业的DevOps实践案例。会场座无虚席，气氛火爆，当演讲人分享了精彩的环节时场下报以热烈掌声。

心得

胡经纬-应用运维二中心

本人有幸在6月29日参加了一天的DevOps国际峰会（暨DevOps金融峰会），一天的学习结束后，一方面感到很兴奋，看到那么多的技术大拿和顶尖高手，有的人分享技术，有的人分享体系，有的人分享方法论，大大拓宽了自己的眼界。认真的想了一下，还是有几点感想同大家分享一下：

1.目前的时代是个开放的时代，互联网是个开放的平台，新技术、新理论层出不穷，百花齐放。IT技术/IT理念是需要分享的，分享才能共同进步，思想要open，怀着谦逊的心态，千千万万不要主动的去排斥和瞧不起新生事物，如果不相信，想想诺基亚吧，想想它的没落过程吧。我觉得民生银行在这方面，无论从领导的理念，还是具体的实践（例如分布式核心），都是open的，相对于其他银行，我们也算是走在银行业的前列的，从这点上说，身为民生科技人，我还是比较自豪的。

2.技术的进步是无止境的，会上听了台湾著名精益布道师李智桦老师的演讲，看到那么大年纪的老前辈还这么精力旺盛的追求精益技术，真是特别的敬佩。特别是他的ppt里面提到的两句话，我自己深受感动，第一句是“我们自己大部分的知识都是self-taught的，都是自学的”，目前的学习环境这么好，不要老躺在过去的功劳簿上吧；第二句是“比日常工作更重要的，是对日常工作的持续改进”，如果你的日常工作，每天都是重复的话，干起来是轻松还是累呢，想想为什么不能持续改进呢，从一点一滴做起，从日常工作的持续改进开始吧。

3.DevOps引入中国后，从起初思想的传播，到目前国际峰会的举办、邀请全球专家的参与演讲，甚至用于考核DevOps成熟度的标准也正式发布了，其发展速度也是日新月异，这是个变革的时代，民生银行也在主动迎接变革，拥抱变革，运用变革，我觉得把DevOps的思想跟民生银行具体实践结合起来，形成有民生特色的DevOps文化和操作实践，是我们孜孜以求的。

陈昊-应用运维二中心

2018年初加入民生银行，曾在大型国有银行数据中心负责渠道类系统的运维工作。经历8年传统系统运维工作总结下来：就是与开发的不断博弈中度过。伴随着业务需求的不断增加，程序逻辑越发复杂，系统变得臃肿庞大，摆在运维人员面前的是技术债务的积增，每天都疲于奔命。直到看了《凤凰项目》这本书，开始接触DevOps，我对运维工作有了全新的认识：通过快速迭代，持续交付服务，不断地创造价值不正是一个IT人员应该追求的吗？来到民生后，看到这里高度工具化的运维工作，接近100%的自动化部署流程，运维工程师解放双手，释放大量的时间，根据兴趣爱好成立虚拟小组，学习交流新技术，研发运维管理工具。虽然在提高交付能力上还有很长的路要走，但民生运维已经迈出了最坚实的一步。

同时我们也要承认与一流互联网公司存在的差距，所以这次民生运维派出人数空前的团队参加DOIS峰会，目的就是交流并学习国内外互联网公司以及金融同业成功的实践经验，并能够切实有效的与民生运维的实际工作相结合，以技术输出为目标，并为业务创造价值。

姚雪艳-生产调度中心

DevOps相关技术和理念的落地要立足实境、逐项突破。分享会上听到的两个例子。一个是中行于洪奎老师分享的关于推进持续集成的成功经验。于老师的团队执行七步提交法，在项目组设计和放置了物理仪表盘，对于UT和CT没有通过的提交，在仪表盘上高亮显示，变红不下班，通过切实的执行，保证了持续集成的落地。一个是百度曲显平老师分享的关于推进变更管理无人值守上线的成功经验。曲老师的团队设计和实现了自动化流水线，但是实施的过程中发现人工操作的时间依然居高不下，然后他们逐个列出了实施过程中需要的人工操作，并逐项使用AIOps进行替代，从而实现了效率的大幅度优化。

宋天阳-生产调度中心

本次大会我主要参与了自动化运维、DevOps、AIOps等方向的专题活动，学习了业界主流的运维平台建设过程与技术方案，开拓了自身的眼界。目前行内的运维平台还是处在自动化阶段，要向智能化方向发展，还有很长的路要走。个人认为智能化的前提是基于大数据和机器学习，所以想要实现AIOps，需要在自动化的基础上，以数据为驱动，并引入机器学习技术，从而实现智能化运维平台。

徐凡-生产管理中心

很荣幸有机会参与2018DevOps国际峰会，了解并学习开发运维一体化的相关知识。DevOps是开发、技术运营和质量保障三者的交集，是最佳实践，其本质和敏捷一样，是优化沟通效率。近年来随着人工智能、机器学习的发展，AIOps也成为DevOps的发展趋势。其目标是基于已有的运维数据，通过机器学习的方式来进一步解决自动化运维所未能解决的问题，提供性能、稳定性，降低成本。

在国内金融专场、企业级与行业级DevOps专场、AIOps专场和自动化运维专场内，我们听到了来自金融行业、互联网大厂结合自身发展状况的DevOps、AIOps解决方案和落地实践，大家以分享、学习、交流的心态介绍了自身的问题和总结的经验，供所有人参考学习。例如百度智能运维负责人介绍的故障分析、智能报警合并等思路，阿里技术专家介绍的传统接入网络智能升级改造，七牛云介绍的智能日志管平台实践等，将其他公司的经验和我们行实际情况相结合，加深我们对运维工作的认识，起到了启发性的作用。

李明利-网络管理中心

DevOps的落地过程中网络需要做哪些准备，网络管理中心已经作了哪些，还有哪些短板需要补齐？简单总结如下：
一、智能化的监控能力。网络管理的规模较大、设备种类较多、结构复杂度较高，保证网络的稳定、低时延、高性能的难度非常高，不仅需要合理的网络架构，更需要实时、准确的智能监控系统，帮助运维人员快速发现问题、定位问题。网络管理中心通过建立网络集中监控及流量分析两个监控平台，分层对网络应用、网络资源进行监控，对网络故障隐患可实现及时发现、快速定位，故障发现率接近100%。但相比本次大会中介绍的一些监控系统，还有一定的提升空间，主要包括：（1）监控系统的可视化程度不高，对一些特定的网络故障，缺少可视化能力，造成运维人员定位故障较为困难。（2）关联分析能力较弱，当发生大量告警时，定位较为困难（3）自动化程度不高，由于运维的易变性、模糊性、不确定性，监控系统需要持续优化、持续集成，目前这些工作还需要手工批量维护，缺少自动化更新能力（4）缺少大数据、智能化分析预测能力，网络告警依赖于告警规则的制定，缺少动态分析、自我学习、预测能力。
二、自动化的服务能力。数据中心网络设备种类较多、厂商较多，不同种类、不同厂商的设备，配置命令完全不一样，设备缺少统一的配置接口，传统的网络运维完全依靠人工配置，提升效率相当困难。网络管理中心通过建立网络自动化系统及SDN云平台，从两个不同的方向，软件化网络硬件，解决传统网络及新一代网络的自动化服务能力，提升网络服务效率及交付能力，目前已有一些服务实现了敏捷交付，网络运维变更自动化率超过60%，网络应急自动化率超过90%，网络演练自动化率达到100%。但相比本次大会中介绍的一些自动化系统，也还有一定的提升空间，主要包括：（1）对外服务的能力较弱，目前自动化系统的重心在解决网络运维的实际工作，对外提供的服务接口较少（2）功能点相对独立，自动化功能不能按照工作场景任意编排，未实现网络资源全生命周期的自动化管理。（3）缺少智能化分析决策能力，操作更多依赖于业务变更的工单。

倪国鹏-应用运维一中心

 2018年6月30日，非常荣幸参加了Devops国际峰会，真是受益匪浅，满载而归。近年来，随着云计算、人工智能和机器学习的快速发展，因传统运维模式之痛而产生了Devops。通过专家们精彩分享，让我进一步认识到Devops从原来的第一阶段持续集成和持续部署到现在的第二阶段，逐步贯穿软件生命周期，遍及开发、测试、部署和运营等。
   新形势下，新产品的产生真正竞争的是时间，学习Devops后再回顾软件行业的研发模式，只要分三个阶段:瀑布式开发、敏捷开发和Devops。相比于传统ITIL，Devops具有更快、更好、更稳的特征，这无疑对互联网业务、银行金融业务而言，都具有非凡意义，同时更清晰认识到Devops具备将一切尽可能自动化，其中包括：自动化测试、自动化部署、自动化自愈、自动化巡检和自动化扩容等。另一个核心特征是文化和组织变革，因实施Devops，需建立一个小型且五脏俱全。如：PO、PM、开发、测试、运维等组成的专家团队，从而可大大降低沟通、协调成本。
   总而言之，无论是企业或个人，只有不断创新、更新迭代和与时俱进，才能走在时代前沿。作为一个民生科技人，我们有责任、也有义务努力贡献出自己的一份绵薄之力，成为高效运维的推动者。

刘伟-生产调度中心

通过参加DevOps国际峰会，学习了解DevOps、微服务、容器等技术的实践分享，收获很大，使自己对于已有工作有了一些新的认知和想法，包括：需求投入/产出比分析、功能前后端分离和低依赖API调用、系统持续交付、自动化部署、应用高可用扩展、敏捷交付等，使工作有了新的方向。同时，以流程自动化、工具自动化为主要手段，结合工作经验的积累对需求进行合理的整合与拆分，通过不断优化，最终实现部门高效协作、系统互通互联、灵活支持业务需求的目标。

霍春美-网络管理中心

作为新运维人，很荣幸有这个机会就DevOps与业内大牛交流学习。大会中令人瞩目的是Google提出的SRE，这是在DevOps上的具体实践，创造软件系统来维护系统运行以替代传统模型中的人工操作，用软件工程的思维和方法论完成以前由系统管理员团队手动完成的任务，通过设计、构建自动化工具来取代人工操作，这个理念也是我们网络管理中心的致力点，并取得了相当的成果；在人工智能的时代，AIOps成为运维发展的新思路，利用机器学习算法实现智能告警合并，自动关联事件，实现快速定位故障点，还有一点就是充分利用网络流量，对流量数据进行清洗，去噪，建模，挖掘流量数据中蕴藏的信息。开发测试运维一体化成为必然趋势，希望自己可以成为民生银行DevOps发展的推动者。

张敬-应用运维一中心

腾讯Devops专场中腾讯研发管理产品探索和实践的演讲，介绍了腾讯通过自主研发的电子看板提高沟通效率的解决方案，以android平台上的微信为例，介绍了腾讯工蜂平台的代码检视、分支管理、会话式开发等特性，以工蜂作为代码管理的平台和以TAPD作为需求管理的平台相结合，以松耦合的链接方式，形成了腾讯特有的去中心化的研发工具体系。

腾讯通过去中心化的工具体系达到统一沟通体验和全面信息化增强大型团队的协作优化沟通效率，这两方面也是我们正在努力的方向，目前在生产运营部推广的onplat平台在一定程度上开始做到统一沟通体验，随着平台使用的推广，这种沟通体验覆盖面和参与度会进一步提升，不仅使运维工作更加高效，更是借助将运维工作思维从系统运维转变为场景运维，同时我们开始使用看板增强团队内部沟通机制，打造一支去中心化的最强运维团队。

王洪岩-应用运维一中心

很荣幸参加本次DevOps国际峰会，一直从事银行数据条线应用系统运维工作十一年，对运维的工作内容感触颇深，初识运维工作，从N多人运维一套系统到一人运维多系统的发展经历，深知运维的理念，创新的思想及运维新界限的探索的重要性，本次参加DevOps国际峰会开拓眼界，吸取目前最前沿的知识，在会场听取了DevOps标准专场（DevOps总体架构标准）、让我更清晰的了解了什么是DevOps，目前DevOps的标准是什么，对研发运营一体化能力成熟度的模型有更深入的了解。在听取持续交付专场（一切皆代码，金融科技的研发如何上云、京东金融微服务架构下的持续交付之路、基于Jenkins的可编排持续交付工具链实践）中更是觉得DevOps在业界产生强大的小宇宙，从需求研发、测试、版本、运营打通各环节，使各环节形成一体化标准流程，提高工作效率、降低风险、减少人工成本、压缩工作量。今天的自动化运维已经成为运维工作的基础，在自动化运维的基础上要灌入DevOps/AIOps已经势在必行

孙玺-系统管理中心

2018年年初加入中国民生银行，目前负责自动化管控平台项目的工作。很荣幸有机会参加本次的DevOps金融峰会。通过本次大会，我了解并学习了开发运维一体化的相关知识。在本次会议中，我参加了自动化运维专场、国内金融专场、腾讯DevOps专场，了解了同行业是如何将研发运维一体化进行落地，阿里、腾讯等互联网公司又是如何进行创新。本次大会中，最吸引我的是AIOps，它是通过机器学习的方式来进一步解决自动化运维中的问题。听取了各专家的分享后，我收获颇多，希望自己可以在今后的工作中承担起更多的职责，并将本次大会的收获应用到工作中。

武文齐-系统管理中心

2018年初加入中国民生银行，目前负责基于kubernetes的Redis私有云平台的建设工作，对外提供PaaS服务。通过入职的一段时间观察，民生银行的运维系统建设相对完善，同时能够不断的与外界沟通，不断的尝试和引入新的技术，以期不断获取新的血液和活力，也是对新人“多学、多看、多实践”的要求。这次参加DevOps金融峰会，参加了kubernetes工作坊专场、自动化运维专场、自动化测试专场，听了来自华图教育、阿里、百度、腾讯、蘑菇街的技术大拿的技术分享，感触颇深，运维之路慢慢其修远，不仅要肩负可靠、稳定的职责，也要担任起公司对新技术探索和新系统建设的责任。

评论功能现已开启，我们接受一切形式的吐槽和赞美☺

编辑 | 生产运营Biu委会

制作 | 熊仔·陈