DevOps 国际峰会 | 七牛云陈超：做 DevOps 的践行者

Posted 2021-04-16 DevOps时代

近日，由 OSCAR 联盟指导、DevOps 社区与高效运维社区联合主办的 DOIS（DevOps 国际峰会）2018 在京举行，作为国内唯一的国际性 DevOps 技术峰会，会上，拥有来自全球 80 余名顶级专家畅聊 DevOps 落地的技术，包括持续交付、SRE、高可用架构与微服务、安全技术、Kubernetes、Ansible、AI 等，并深入探讨了 DevOps 在金融、电信、零售、能源等行业的落地与实践，为参会者带来了一场 DevOps 饕餮盛宴。

在此次峰会上，七牛云技术总监陈超受邀出席，作为国内 Spark 领域首席布道专家，陈超有着丰富的分布式系统设计与实践经验，并且在分布式数据库方面有着深入研究。

在金融行业 DevOps 解决方案专场中，陈超了发表以《七牛云智能日志管理平台实践》的主题演讲，向大家分享了 DevOps 的实践经验以及七牛云在智能日志管理平台与 DevOps 彼此间的联系。

 - 七牛云技术总监陈超 -

“实际上我们是属于 DevOps 的践行者，其他演讲人讲到了很多方法论，而在七牛云来说则是更多的去进行实践。“陈超表示。会上，陈超首先介绍了在研发场景中遇到的一些问题，如复杂的编译和运行环境、质量难控制、发布要求高、协作难度大等，以及代码分支多，合并频度高， issue 状态难跟踪等问题。为了解决上述问题，七牛云逐渐引入各种工具，如代码库管理 github、CI/CD 工具 Jenkins、自动化测试框架、流程管理协作工具 jira 等。

但是，陈超表示“我们发现，松散的工具不等于效率的提升，我们看起来引用很多很好的工具，但发现效率没有提升。软件工程的生命周期从来没有被完全信息化，通俗说就是从头到尾不连贯，而这也是 Spock 诞生的原因。”

对此，陈超详细介绍了七牛 Spock Pipeplines 的实践经验，“我们的做法是你的 PR 其实是提交在 develop 分支上的，master 是线上正在运行的稳定代码，develop 是我们的开发分支。当代码提交上去的时候，首先我们提交到 develop 上去，代码写完自动测试，这里全是自动的，对于七牛的工程师来讲只干了一件事情，就是在 github 上面提交 PR。”

- 七牛 Spock Pipeplines 实践 -

- 七牛微服务实践 -

众多散落各地的日志该如何安放？Pandora 全能力图解析

日志管理的传统方案以及弊端包括，如在使用 grep/sed 等脚本工具时，无需额外工具支持，但效率较低易出错；使用 mysql 汇聚数据，使用虽然方便，但是能力有限；使用 NoSQL 数据库，存储能力虽然足够，但不支持交叉查询与全文搜索，使用负担较大；使用 Hadoop/Spark 等比较繁杂不支持全文检索；使用 ELK，产品化及体验层面做的远远不足，稳定性仍存在挑战。对此，基于以上问题以及存在的一些方案评估，七牛云推出了智能日志管理平台 Pandora。

七牛云 Pandora 作为一套面向海量数据，能够让基础技术人员轻松管理大数据传输、计算、存储和分析的大数据平台。提供简单、高效、开放的一站式大数据服务，能够实现对日志的全生命周期智能管理，适用于运维监控、安全审计、业务数据分析等典型场景，对互联网、智能硬件和智能制造、金融、新媒体等行业的数字化转型都有极大的价值。

会上，陈超详细介绍了 Pandora 全能力图，包括支持各类数据源、Pipelines、logkit 以及支持各类第三方可视化工具。其中，Pipelines 包含了收集（支持收集文本文件、常见消息队列等多种数据来源渠道的数据，配置简便）、解析（可以自动并可控的快速提取杂乱日志中的各种关键字段。自动化划分提取字段，自动化规则匹配）、转换（支持本地转换和服务端转换两种模式，支持丰富的预定义转换规则）、发送四大功能。

- Pandora 能力全景图 -

而 logkit 则可以对于收集到的日志进行全方位的快速分析并对结果进行展示，其中包括：

• 日志搜索：使用兼容 Lucene 标准的搜索语法快速检索日志内容，且基于搜索可以迅速完成各项工作

• 自动字段分析：自动对提取的字段进行分析和统计

• 划词分析：无需掌握搜索语法，通过划词直接进行搜索或者对搜索结果进行二次过滤

• 实时搜索：支持搜索结果实时滚动

• 开箱即用的报表：丰富的图表支持，灵活的报表定义，贴心的报表管理，支持大屏展示

• 机器学习（异常检测）—分析预测：支持自动化的智能分析，快速发现数据中的异常点。

• 机器学习（异常检测）—极简使用：基于时序数据自动学习，自动选择最优算法，零门槛使用

最后，可以将 Pandora 的优势总结为六点：
1、数据规模大，拥有完全横向扩展的存储设计、完全横向扩展的计算设计、累计存储数据超过 40P 等；
2、处理速度快，入口打点毫秒级响应、实时计算毫秒-秒级响应；
3、开放接口巧，通过支持 https 中转适配任意目的地，所有操作均有对应的 API 支持；
4、生态支持多，包括 Oracle、Hadoop、Kubernetes 等；
5、用户体验爽，超过 3 年以上的用户体验迭代，超过 200 项细节极致的打磨；
6、公有云经验足，日均数据流入超 250 TB、日均参与计算数据量超 3.2 P、日均日志条数超 3650 亿等。

作为国内领先的以视觉智能和数据智能为核心的企业级云计算服务商，同时也是国内最有特色的智能视频云服务商，七牛云每年营收增速超 300%，累计为 70 多万家企业提供服务，覆盖了国内 80% 网民。在未来，七牛云将更加致力于为各行各业客户提供服务，创造更广阔的商业价值。

七牛云.智能日志管理平台 已正式上线
点击阅读原文 - 即刻了解详情并获取免费额度