DataOps是“数据的DevOps”吗？

Posted 2022-02-25 WOT技术大会

​作者丨徐杰承​

​DevOps 一直以来都是转变 IT 工作方式的主要催化剂，它能够使项目变得更加敏捷，使企业能够更快的对客户需求作出响应。正如企业需要 DevOps 帮助研发团队在保持高质量情况下提高交付效率一样，企业同样需要依赖这些功能来实现对于数据工程的分析与开发，而应对这一挑战的方案便是 DataOps。​

​什么是 DataOps？​

​DataOps 概念由 Lenny Liebmann 于 2014 年首次提出，DataOps 的核心是一种面向过程的方法，用于提高数据分析团队与数据工程团队所使用的数据质量并缩短数据分析的时间周期。DataOps 统一了数据分析团队和数据工程团队，使企业的数据团队能够更快速、更准确地提供分析解决方案及数据产品。​

​对企业而言，数据的价值从未像今天这般重要，这也就是为什么一些企业愿意采取不同的方式来获取所需数据以及可用于数据驱动的解决方案。而 DataOps 便是可应用于这些方面的最佳实践，且如今，DataOps 已逐渐发展成为了一种独特的数据加工、配置与分析方法。​

​为什么 DataOps 对数据驱动的企业很重要？​

​DataOps 对于数据驱动的企业而言至关重要，它有助于提高数据分析的质量和速度，提升数据项目的“时间的价值”。DataOps 能够优化从数据采集到分析的整个流程，而数据分析质量和速度的提高可以带来以下几个好处：​

• ​增强预测能力​
• ​提高生产效率​
• ​降低资源消耗​

​DataOps 可以帮助企业提高总体的数据质量，并能够将数据处理流程中的各个阶段进行集成。数据分析师与数据工程师通过协同工作能够更早的发现和解决数据问题，以避免数据问题对企业项目产生影响。不仅如此，DataOps 还关注数据的交付流程，其目标是通过不断改善和更新数据模型、可视化效果、数据报告与数据报表，来满足企业的各类诉求。​

​在企业的发展与成长过程中，需要获取大量的数据以支持企业不断做出新的决策，而 DataOps 的另一个优势则是其所形成的数据质量与解决方案会随着企业数据量的增大而具有更高的可靠性。​

​DataOps 与 DevOps​

​虽然两者都是基于敏捷结构所设计的用来加速工作周期的方法，但是 DevOps 将重点放在了产品开发上。相反，DataOps 侧更为关注数据的管理和交付速度。DevOps 往往以应用层为中心，而 DataOps 则包含了从数据获取到用户消费的整个数据链。​

​此外，DevOps 强调开发团队和运营团队之间的协作，通常由企业中的开发团队单独使用。而 DataOps 则强调了所有数据使用者之间的关联，使得数据在被使用时能够得到更为全面的管理，这对于确保产品开发过程中的数据完整性至关重要。​

​因此，虽然 DevOps 为 DataOps 奠定了基础，但 DataOps 并非是用于数据层面的 DevOps。​

​DataOps 与 DevOps 的相似之处​

​DataOps 的许多原则都是从 DevOps 中类似的原则里衍生出来的。企业需要 DevOps 帮助研发团队在保持高质量情况下提高交付效率。而在执行与数据相关的任务时，企业则需要依靠 DataOps 进行敏捷的数据分析与数据处理。​

​由于 DataOps 与 DevOps 使用相同的工具链，因此对于已经具有 DevOps 架构的企业来说，使用 DataOps 将会非常简单。以下是 DataOps 从 DevOps 中获取的一些主要概念：​

• ​快速增长​
• ​重用与自动化​
• ​专注于提供市场价值​
• ​自动化测试与代码升级​
• ​持续集成 / 持续交付 (CI/CD)​

​DevOps 和 DataOps 的差异​

​尽管 DevOps 和 DataOps 在基础上有一些相似之处，但两者之间其实还是存在着许多显著区别的。​

​​流程：​DataOps 和 DevOps 的生命周期具有一定的交互特性。但 DataOps 的不同之处在于，它由数据管道和分析开发过程组成，其二者是实时交互的，而 DevOps 则由软件的开发与交付组成。​

​​编排：​应用程序源代码不需要在 DevOps 方法中进行大量编排。但对 DataOps 来说，数据管道和分析开发的编排都是必须的。尽管 DataOps 中经常发生数据管道的编排，但在应用程序开发和 DevOps 过程中通常不会出现这样的管道协调。​

​​数据管理：​在大多数 DevOps 中，测试数据管理与权限变更并没有优先权，但在 DataOps 中这些操作将拥有更高的优先级别。​

​​受众：​DataOps 和 DevOps 的使用者有着不同的技术能力。DevOps 是为软件开发工程师量身定制的，而 DataOps 更多的是面向数据工程师、数据科学家和数据分析师，他们在工作中更多的依靠模型与可视化工具的辅助。​

​​工具：​DataOps 是从 DevOps 中衍生出来的，虽然在 DevOps 中的测试主要是自动化的，但是 DataOps 并不具备这样的优势。现阶段支持 DataOps 的自动化测试工具并不十分完善，大多数用户仍需要自行修改自动化测试工具或重新构建自己所需的自动化测试工具。​

​DataSecOps 及其重要性​

​DataSecOps 是一种敏捷、整体、安全的嵌入式方法，用于协调不断变化的用户数据，核心是在 DataOps 中内嵌数据安全属性，这样的结合对于那些通过数据驱动的企业来说是至关重要的。这使得企业在快速获取数据价值的同时能够保持自身数据的私密性、安全性并对数据进行有效管理。​

​DataSecOps 与 DataOps 的相似之处在于，它们都专注于通过数据分析以改善安全问题，但它们在安全性标准、安全思想和执行过程上的侧重点不同。随着互联网的不断发展，数据活动也在不断发生改变，而 DataSecOps 能够帮助企业始终保持对数据的掌控权。DataSecOps 是一种动态的、全方位的思维方式，可以将数据解决方案与快速变化的数据集成起来，并支持数据治理，保障企业的数据隐私与数据安全。​

​DataSecOps 强调安全与 DataOps 的融合，这种方法的目的是确保数据项目不会给企业带来额外的安全风险。这需要企业在数据操作中的每一个阶段都进行安全性考量，而不是在项目完成后再去思考安全问题，这样能够确保所有的数据项目和数据操作都是安全可查的。​

​很明显，DataSecOps 是 DataOps 的一个子集，将“Sec”组件集成到 DataOps 能够帮助于企业在数据使用的整个生命周期中避免数据安全问题。在如今的互联网背景下，保障数据的安全性和完整性是每家企业的发展过程中都会面临的严峻挑战。​

​结语​

​DataOps 和 DevOps 都是能够给企业带来帮助的重要方法，但它们之间有着很大的不同，DataOps 并非“用于数据的 DevOps”。DataOps 是一种敏捷方法，对于拥有着众多数据使用者、数据生产者和其他数据涉众的以数据为中心的企业至关重要。​

​原文链接：​

​​

​​https://dzone.com/articles/is-dataops-devops-for-data​​

​​

​会议推荐​

​随着数字经济在全球经济中占比的不断提升，数字化带来了新的机遇和挑战。数据、算力、算法推动数字世界持续进化，随着产业数字化、数字产业化的深入，数据驱动逐渐成为企业经营与创新的源动力、经济发展的新常态。​

​2022 年 4 月 9 日至 10 日的 WOT 全球技术创新大会“数据驱动新常态”专题中，多为来自业界优秀企业的技术专家，将围绕技术演进、架构变革、应用探索、治理优化等方向，与大家分享大数据生态的前沿趋势与最佳实践，旨在为广大听众带来一些新的思考与借鉴。​