为什么大多数机器学习策略都会失败？

Posted 2021-04-03 技福教育

根据云服务提供商Rackspace Technology的一项新调查，大多数公司都在努力制定可行的人工智能策略。这项调查包括制造业、金融、零售、政府和医疗保健等各个行业的1,870个组织，该调查表明，只有20％的公司拥有成熟的AI /机器学习计划。其余的人仍在尝试弄清楚如何使其工作。

毫无疑问，几乎每个行业中机器学习的前景都是如此。将机器学习模型应用于实际应用程序的好处包括更低的成本，更高的精度，更好的客户体验以及新功能。但是机器学习不是魔杖。并且，正如许多组织和公司正在学习的那样，在将机器学习的力量应用于您的业务和运营之前，您必须克服几个障碍。

公司将AI技术集成到其运营中时面临的三个关键挑战是技能、 数据和策略领域，Rackspace的调查清楚地说明了大多数机器学习策略为何失败的原因。

机器学习与数据有关

机器学习模型以计算资源和数据为基础。得益于各种云计算平台，对训练和运行AI模型所需的硬件的访问变得更加容易获得和负担得起。

但是数据在规划和采用AI策略的不同阶段仍然是主要障碍。在Rackspace调查中，有34％的受访者表示数据质量差是机器学习研发失败的主要原因，另有31％的受访者表示他们缺乏可用于生产的数据。

这凸显了将机器学习技术应用于现实问题时的主要障碍之一。尽管AI研究社区可以访问许多公共数据集来培训和测试其最新的机器学习技术，但要将这些技术应用于实际应用程序时，要获得高质量的数据并不容易。在工业，卫生和政府部门中尤其如此，在这些部门中，数据通常很少或受到严格的监管。

当机器学习计划从研究阶段转移到生产阶段时，数据问题再次出现。在使用机器学习来提取有价值的见解方面，数据质量仍然是最大的障碍。数据工程问题也带来了一个严重的问题，例如数据孤岛，缺乏连接不同数据源的人才以及不够快地以有意义的方式处理数据。

数据是从机器学习模型中获取可行见解时最关键的问题

Rackspace Technology的首席技术官杰夫·德维尔特（Jeff DeVerter）表示，尽管规模似乎是两者之间的关键区别，但初创企业和成熟公司都面临数据问题。DeVerter在对TechTalks的书面评论中说：“初创企业往往受制于并非所有正确的资源来实施高质量的数据管道，并随着时间的流逝不断地对其进行管理。” “企业通常拥有规模，而随之而来的是严格的要求。”

公司应对AI策略的数据挑战的最佳方法是对其数据基础架构进行全面评估。消除孤岛应该成为每个机器学习计划中的关键优先事项。公司还应该拥有正确的程序来清理其数据，以提高其机器学习模型的准确性和性能。

人工智能人才需求仍然很高

对于大多数公司而言，第二个难题是获取机器学习和数据科学人才。根据Rackspace的调查，缺乏内部专业知识是导致机器学习研发计划失败的第二大原因。招聘中缺乏技能和困难也是采用AI技术的主要障碍。

许多公司都在努力获取人才以实施其AI策略方面遇到困难

机器学习和深度学习直到最近才在生产环境中得到主流使用，因此许多较小的公司没有可以开发AI模型的数据科学家和机器学习工程师。

数据科学家和机器学习工程师的平均薪水与经验丰富的软件工程师的薪水相称，这使得许多公司很难组建一支能够领导其AI计划的才华横溢的团队。

尽管众所周知，机器学习和数据科学人才的短缺，但没有引起人们注意的一件事是需要更多的数据工程师，建立，维护和更新数据库，数据仓库和数据湖的人员。根据Rackspace的数据，许多计划失败了，因为公司没有足够的能力来调整其数据基础结构以用于机器学习。严重缺乏公司的一些领域是：打破孤岛，迁移到云，建立Hadoop集群以及创建可以利用不同平台的功能的混合系统。这些缺点使他们无法在公司范围内部署机器学习计划。

随着新的机器学习和数据科学工具的发展，人才问题已变得不那么严重。谷歌，微软和亚马逊已经推出了平台，使开发机器学习模型变得更加容易。一个示例是Microsoft的Azure机器学习服务，该服务提供具有拖放组件的可视界面，使无需编码即可轻松创建ML模型。另一个例子是Google的AutoML，它可以自动完成繁琐的超参数调整过程。尽管这些工具不能代替机器学习人才，但它们为想要进入该领域的人们降低了障碍，并使许多公司能够重新培养其在这些不断发展的领域中的技术人才。

DeVerter说：“内部数据科学人才的匮乏不再是障碍，因为现在更多的服务可以使用自己的ML来帮助这方面，以及拥有这些人才的咨询公司，” DeVerter说。

该领域的其他发展是云存储和分析平台的发展，它极大地降低了创建创建和运行AI系统所需的无缝数据基础架构的复杂性。一个例子就是Google的BigQuery，这是一个基于云的数据仓库，可以轻松地对存储在各种来源中的大量数据进行查询。

我们还看到机器学习工具中的兼容性和集成功能正在不断增强，这将使组织更轻松地将ML工具集成到其现有软件和数据生态系统中。

在进入AI计划之前，每个组织都必须对内部人才，可用工具和集成可能性进行全面评估。知道您可以依靠自己的工程师多少以及雇用人才将花费多少，这将成为机器学习计划成败的决定性因素。另外，请考虑是否需要重新技能。如果您可以提高工程师的技能以从事数据科学和机器学习项目，那么从长远来看，您会更好。

外包AI人才

近年来增长的另一个趋势是AI计划的外包。在Rackspace调查中，只有38％的受访者依靠内部人才来开发AI应用程序。其余的要么完全外包他们的AI项目，要么雇用内部和外包人才。

大多数公司依靠外部人才来计划和实施他们的AI计划

现在有几家公司专门研究和实施AI策略。一个例子是C3.ai，这是一家专门从事多个行业的AI解决方案提供商。C3.ai在诸如Amazon，Microsoft和Google之类的现有云提供商之上提供AI工具。该公司还提供AI咨询和专业知识，以逐步引导客户完成战略制定和实施阶段。

根据Rackspace的报告：“成熟的提供商可以随着时间的推移从战略到实施再到维护和支持带来一切。策略可以避开AI和机器学习工作可能失去动力或变得复杂的领域。动手专家还可以使组织免于清理和维护的麻烦。这些专业知识加在一起，可以为最终取得成功发挥一切作用。”

但是，值得注意的是，将组织的AI战略完全移交给外部提供商可能是一把双刃剑。成功的策略需要AI专家与实施该策略的公司的主题专家之间的密切合作。

“这与转向DevOps开发方法并试图将整个开发外包的公司非常相似。DevOps要求开发人员，业务分析师和业务中的其他人员之间保持紧密的合作关系。” “以同样的方式，人工智能项目既需要战略和技术专长，又需要与企业以及领导层之间的紧密合作。”

必须精心完成外包AI人才的工作。尽管它可以加快开发和实施AI策略的过程，但您必须确保专家完全参与该过程。理想情况下，当您与外部专家一起工作时，您应该能够建立自己的内部数据科学家和机器学习工程师团队。

如何评估这项AI策略？

最后，另一个使从事AI之旅的公司感到痛苦的领域是预测AI策略的结果和价值。鉴于机器学习在许多领域都是新的应用，因此很难预先知道AI策略将计划和实施多长时间以及投资回报率是多少。反过来，在获得对AI计划的支持时，组织的创新者很难让其他人参与进来。

在Rackspace调查的受访者中，有18％的人认为缺乏明确的业务案例是采用AI策略的主要障碍。高管人员缺乏承诺也是最大的障碍之一。缺乏用例和高级管理层的承诺再次出现在机器学习过程中的主要挑战中。

“ AI通常会四处寻找解决方案，以寻找组织内部的问题。我相信这是在组织内部广泛采用的最大障碍之一。” “由于AI从业人员可以展示有关AI如何使他们的特定公司受益的实际示例-领导力将进一步为这些活动提供资金。像任何企业一样，领导者需要知道它将如何帮助他们省钱或赚钱。”

评估AI计划的结果非常困难。根据调查，衡量AI计划成功与否的前两个关键绩效指标（KPI）是利润率和收入增长。可以理解，对快速利润的关注部分是由于AI计划的高成本。根据Rackspace的调查，组织平均每年在AI计划上花费106万美元。

但是，尽管良好的AI计划可以带来收入增长和更低的成本，但在许多情况下，机器学习的长期价值在于开发新的用例和产品。

DeVerter说：“如果短期财务收益与那些可以由这些短期收益提供资金的长期战略不匹配，则可能是短时间的。”

如果负责组织中的AI计划，请确保清楚地列出AI策略的用例，成本和收益。决策者应清楚了解其公司将要开展的工作。他们应该了解投资人工智能的短期利益，但他们也应该知道从长远来看会获得什么。

来源 | Techtalks

作者 | Ben Dickson

编辑 | LENA