AI神经网络流水线MLOps machine learning pipline eBay和北美等公司的落地 QCon 大会2022

Posted 2022-11-24 AI架构师易筋

1. MLOps - machine learning operations

MLOps是一组实践，旨在可靠且高效地在生产中部署和维护机器学习模型。[1]这个词是“机器学习”和DevOps在软件领域的不断发展实践的复合词。机器学习模型在孤立的实验系统中进行测试和开发。当一种算法准备好启动时，数据科学家、DevOps 和机器学习工程师之间会实施 MLOps，以将算法过渡到生产系统。类似于DevOps或DataOps方法，MLOps 寻求增加自动化和提高生产模型的质量，同时也关注业务和监管要求。虽然 MLOps 最初是一组最佳实践，但它正在慢慢演变为一种独立的 ML 生命周期管理方法。MLOps 适用于整个生命周期——从与模型生成（软件开发生命周期、持续集成/持续交付）、编排和部署的集成，到健康、诊断、治理和业务指标。根据Gartner的说法，MLOps 是 ModelOps 的一个子集。MLOps 专注于 ML 模型的操作化，而 ModelOps 涵盖所有类型的 AI 模型的操作化。-- 维基百科

1. MLOps历史以及前瞻

2015 年的一篇论文强调了在应用程序中持续使用机器学习所面临的挑战。[4]

机器学习的预测增长包括从 2017 年到 2018 年，以及从 2018 年到 2020 年，机器学习试点和实施估计翻一番。[5]

报告显示，大多数（高达 88%）的企业 AI 计划都在努力超越测试阶段[需要引用]。然而，那些真正将人工智能和机器学习投入生产的组织看到了 3-15% 的利润率增长。[6]

MLOps 市场在 2019 年估计为 232 亿美元，由于快速采用，预计到 2025 年将达到 1260 亿美元。[7]
– 维基百科

2. eBay MLOps

3. 来自美国数据科学家的分享

数据科学家以及数据分析师 在美国每年招聘的数量实在百万级别。

参考

https://en.wikipedia.org/wiki/MLOps