DevOps在数据科学和机器学习中的应用

Posted 2021-04-16 企业网D1net

关键讯息，D1时间送达！

数据科学家与DevOps工程师相互协作可以获得更好的业务成果，但了解他们的不同需求是关键。数据科学家和软件工程师都计划、构建、编码、迭代、测试和部署代码来实现他们的目标。

数据科学家与DevOps工程师相互协作可以获得更好的业务成果，但了解他们的不同需求是关键。

数据科学家与软件开发人员有一些共同的实践和需求。数据科学家和软件工程师都计划、构建、编码、迭代、测试和部署代码来实现他们的目标。对于软件开发人员来说，这通常意味着自定义编码应用程序和微服务;数据科学家实现与数据操作的数据集成，通过分析模型进行预测，并创建仪表板以帮助最终用户导航结果。

那些寻求自动化，并与运营工程师开展合作的Devops工程师应该扩大其业务范围，并向数据科学家提供服务。

拥有多个数据科学团队的大型组织可能会投资于Alteryx Analytics、Databricks、Dataiku等数据科学平台，这些平台提供了用于开发、测试和部署分析模型的混合工具。这些工具在数据集和分析功能、集成选项、治理、业务用户工具和部署选项上展开激烈的竞争。

DevOps对数据科学家的要求与应用程序开发人员不同

并非每个组织都对投资数据科学平台做好了准备，或者可能只需要基本操作能力的小型数据科学团队。在这些情况下，最好将DevOps最佳实践应用于数据科学团队，而不是选择和使用平台。

为此，许多用于软件开发团队的敏捷和开发范例可以应用于数据科学工作流程，并进行一些重大调整。虽然数据科学家的流程与开发人员的工作流程类似，但存在一些重要的区别。

•数据科学工作需要围绕数据集、模型和配置进行更多实验。这不是大多数软件开发商发布管理实践遵循的简单计划、构建、测试、部署周期。

•开发和测试模型可能无法使用统一的计算堆栈。一些模型可以使用简单的Python脚本实现，而其他模型可以使用Apache Spark和其他大数据平台。

•即使模型处于开发阶段，计算需求也会有很大差异。例如，一位数据科学家想要针对一个大数据集测试一个模型的六个变体，与另一位在一个规模较小数据集测试一个模型的数据科学家相比，需要更多的计算能力和存储容量。

•部署到生产中的模型也需要持续维护，但除了更改底层代码之外，还有更多变量。模型还需要使用更新的数据集进行重新训练、重新配置操作参数以及调整基础设施，所有这些都可能触发新的部署。

•监控数据管道通常需要更复杂的验证。知道数据操作过程正在运行，并且模型正在处理数据是不够的。这些工具一旦投入生产，就必须对吞吐量、错误条件、数据源异常以及可能影响下游结果的其他条件进行监控。

•要想取得成功，数据科学家必须与开发人员、工程师、业务负责人合作，这与在应用程序开发中巩固开发人员和操作人员之间的协作相比，可能是一项更艰巨的任务。此外，许多数据科学家和团队可能不会向IT组织报告，因此更难为这些组织制定标准和治理。

在开始采用DevOps实践和解决方案之前，支持数据科学家需要了解这些和其他差异。

从数据科学家的经验开始

与应用程序开发人员一样，数据科学家最感兴趣的是解决问题，他们非常关注配置工具，但对配置基础设施的兴趣往往更少。与软件开发人员不同，数据科学家可能没有相同的经验和背景来充分配置他们的开发工作流程。这为DevOps工程师提供了一个将数据科学家视为客户，帮助他们定义需求，以及拥有交付解决方案所有权的机会。

这可以从数据科学家需要的基础设施开始。他们是用Python、R还是其他语言编写代码?他们使用什么工具(Jupyter、Tableau、Apache Kafka和NLTK)进行分析和建模?他们使用哪些数据库和云平台作为数据源，用于存储经过训练的数据，以及用于部署模型?

为此，DevOps工程师可以帮助数据科学家选择和标准化开发环境。这通常可以在计算设备或虚拟桌面上完成。无论哪种方式，将他们的应用程序和配置镜像到开发环境是与数据科学家进行合作的重要的第一步。

在此之后，DevOps工程师应该检查数据科学家存储代码的位置、代码的版本控制方式，以及代码如何为部署打包。例如，一些数据科学家对使用版本控制工具(如Git)相对较新;另一些数据科学家可能使用代码库，但没有实现自动化集成。实现持续集成是DevOps工程师帮助数据科学家的第二个方面，因为它创建了标准，并删除了测试新算法的一些人工工作。

需要记住的一点是，某些SaaS和企业数据平台可能具有内置版本控制，并且不会自然地与为代码设计的版本控制系统接口。其中许多平台都有API来触发集成和部署或其他可以模仿持续集成(CI)/持续交付(CD)管道的机制。

定义部署管道并配置基础架设施

在开发环境和持续集成标准化的情况下，DevOps工程师应该考虑自动化测试和生产环境的其他方面。这可以通过使用Jenkins等工具引入部署管道，并使用Chef、Puppet、Ansible或其他工具将基础设施配置为代码来实现。

数据科学环境也是Docker等容器以及Kubernetes等容器管理和编排工具的有力候选者。数据科学环境通常是数据操作、数据管理和数据建模平台的组合，这些平台需要作为集成环境进行部署和管理。

了解运行数据集成、机器学习培训和其他数据分析工作的规模和频率至关重要。DevOps工程师很可能会发现多种模式，因为数据科学家混合了不同的工作负载，例如，对部分数据集频繁测试新模型、计划运行以重新培训生产机器学习模型，以及培训新分析模型的特殊工作。这些工作负载类型应该帮助DevOps工程师决定如何最好地配置和扩展云计算基础设施，以满足不同的计算和存储需求。

开发人员、DevOps工程师和数据科学家还应该就业务成果进行协作。

实现DevOps的最重要方面是促进具有冲突目标的开发人员和DevOps工程师之间的协作。开发人员经常面临着更改应用程序的压力，DevOps工程师需要对生产工作流的性能和可靠性负责。让开发人员和工程师在自动化和标准化配置方面进行协作可以实现这两个目标。

数据科学家是这次合作的第三方。他们经常面临向高管和业务经理提供分析结果的压力。其他时候，他们正在开发模型，希望开发人员在他们的应用程序中使用这些模型。他们对可变容量基础设施有着强烈的需求，在试验新平台、库和基础设施配置时，他们可能比开发人员要求更高。

数据科学家需要与开发人员和工程师建立这种合作关系，以提供成功的分析成果。而了解他们的目标、定义目标以及在DevOps实现上进行合作是这些团队如何协作和交付业务成果。

(来源：企业网D1net）

如果您在企业IT、网络、通信行业的某一领域工作，并希望分享观点，欢迎给企业网D1Net投稿 投稿邮箱：[e-mail]

点击蓝色字体关注

企业网D1net已推出企业应用商店（www.enappstore.com），面向企业级软件，SaaS等提供商，提供陈列，点评功能，不参与交易和交付。现可免费入驻，入驻后，可获得在企业网D1net 相应公众号推荐的机会。欢迎入驻。

扫描下方“ 二维码 ”即可注册，注册后读者可以点评，厂商可 以 免费入 驻 。