ChatGPT 将如何颠覆数据和分析领域（翻译）

Posted 2023-04-02 一 铭

ChatGPT 将如何颠覆数据和分析领域

每个人都在谈论 ChatGPT。许多人也在使用它。这个新的人工智能工具由 OpenAI 推出，它在各行各业和各行各业的人们中引起了轰动。该工具可以为查询提供明确的响应、编写代码并为大多数查询提供结果，甚至是那些与流程、数据模型或代码相关的查询！
但是，就目前的形式而言，它确实有局限性。有关于事实不准确、虚构的名字和书籍以及未能解决复杂问题的报告。但这只是颠覆时代的开始，与数据和分析相关的每个人都需要保持警惕。

ChatGPT 能够提供什么？

该工具不仅可以潜在地自动化各种数据和分析主导的流程，如数据治理、数据质量、基于分析的预测、数据模型和流程的创建、数据结构和数据源查询，以交付基于 SQL 查询的代码和自动完成数据表与上下文数据。
想象！数据和分析中的许多任务依赖于利基人员相关技能，可以通过基于 ML 和深度学习的基于 NLP 的工具轻松交付！
而且，它无疑是一个强大的工具，即使是处于初期阶段，也将改变数据管理和分析领域。在这个领域工作的中小企业需要思考并提出开箱即用的解决方案。因为 ChatGPT 将迫使软件解决方案提供商、系统集成商和咨询公司重新发明他们的技能和产品。

对数据与分析中各种角色和职责的影响

角色会改变或消失。从事手动重复性工作的人将受到打击，因为他们的大部分工作将自动化并由人工智能工具接管。
数据科学家和数据工程师：将不必为需要翻找以获得正确数据的大量数据集而苦恼。该工具将轻松创建沙盒环境、假设和模型。生活将变得更加轻松，让数据科学家能够花时间思考和从数据中创造洞察力（这也可能在某个时间点实现自动化）。
开发人员：面临来自该工具的竞争，因为 ChatGPT 将为他们创建代码。他们将不得不提高自己的人类认知技能，以与他们的角色相关。
数据分析师：也需要意识到该工具可以识别数据源、定义数据结构、提供图形和图表所需信息的详细信息等等。因此，数据分析师需要培养未来技能，如战略和批判性思维以及解决问题的能力，才能在新秩序中生存。
业务分析师：需要提高技能并磨练他们的战略和分析思维技能，因为 ChatGPT 可以执行他们的大部分传统任务，直接从创建需求、流程和数据模型（以及包含实体和属性的综合列表的业务词汇表/分类法）开始，使用和测试用例来生成报告和演示文稿。业务分析师的生活将发生翻天覆地的变化，他们必须具备增值技能
ChatGPT 不会取代大部分角色，但会改变角色的概念和技能要求。技术技能以及其他认知技能将成为未来的新组合。

对企业用户的影响

业务用户将能够根据数据生成的见解快速采取行动，因为该工具将从输入的大量复杂数据流中生成解释和解释。
他们还可以使用 ChatGPT 按需生成报告。因此，对具有数据、分析和技术技能的人员的依赖将大大减少。
由于该工具能够自动执行由人类执行的流程任务，因此运营效率也将提高。
民主化和利用数据将成为一种生活方式，数据素养计划可以通过该工具推荐的培训计划实现自动化

对数据和分析领域的咨询公司的影响

ChatGPT 也将在咨询和咨询服务组织中传播它的魔力。虽然它可以使研发和演示内容创建自动化，但它也会影响功能和服务产品。
数据治理、数据质量、元数据管理等领域将见证前所未有的自动化，实现零人工接触点。随着流程图和数据模型的自动化，也许是对数据治理组织结构的建议，以及数据所有权？很有可能。
Process Mining 和 Business Observability 等新时代解决方案将获得全新级别的功能、自动化和成熟度，迫使供应商快速敏捷地升级和增强解决方案。
ChatGPT 可以寻找、收集、分析数据，并提出见解和建议。
因此，分析等传统服务产品正受到威胁。根据 BCG 的说法，具有静态结果的战略咨询项目将迅速减少，这将产生由数据增强的有科学依据的人工智能驱动战略。谷歌和亚马逊很可能成为新时代的咨询公司！
数据素养计划也将受到影响，因为用户将需要学习如何应对和管理新技术及其业务决策和结果的输出。
在未来的化身中，需要构建围绕可视化和图形的功能，并且需求量很大。
数据隐私将在优先级列表中占据重要位置，因为需要在定义明确的边界内严格管理和操作向该基于 NLP 的工具提供的数据。
安全和访问控制将成为主要焦点/关注领域

咨询公司如何进行这种创新——我们的观点

颠覆，需要颠覆。数据和分析领域的咨询公司需要彻底转型。从他们的技能组合到他们的产品和商业模式。虽然上面第 3 点强调了一些变化，但这些组织可以通过以下几种方式重新发明自己和他们的产品。
创建与市场相关的 AI 支持的服务产品——需要跳出框框思考，以在 ChatGPT 内部和周围创建与市场相关的产品（例如自动化业务用例、数据治理任务和活动、数据质量计划和围绕数据隐私的产品，安全和数据交换等）。
顾问的技能组合——顾问需要具备一定的技术技能基础，再加上软技能和认知技能，才能配合和利用 ChatGPT 不断发展的功能。技能将从分析发展为判断。选择最合适的建议并巩固策略以从推荐选项中选择最佳行动是利用顾问技能的地方。
战略和智能合作伙伴关系和收购——咨询和咨询公司将需要收购新时代的初创企业和/或与他们建立合作伙伴关系，以对他们的客户进行再培训、提高技能或快速增加利基技能和产品。咨询和咨询公司很可能会开始吸引谷歌和亚马逊以及其他初创企业建立此类合作伙伴关系。
改变商业模式——在业务方面，利润率和市场份额将受到影响，尤其是在技术和业务外包、员工扩充以及数据和分析等传统服务方面。咨询/技术组织以超快的速度对员工进行再培训和提高技能并提出创新产品（自己或与合作伙伴一起）的能力将决定在瞬息万变的世界中的生存。
客户——客户的要求会发生变化。它们将围绕人工智能驱动的解决方案和产品展开。超个性化将成为常态，超自动化将成为客户的新口头禅。

最后的话

ChatGPT 带来了一种新范式，这需要技术与人类能力和技能的结合。人员、流程、技术和数据将得到彻底改革，人工智能工具将占据中心位置。然而，世界需要谨慎前行。虽然企业会重新发明，但威胁也会。特别是在数据方面。这些需要管理，连同其他将比比皆是的挑战。
持续的挑战将以系统性偏见的形式出现。考虑到该工具依靠海量数据生存，很容易产生偏见。
错误也需要被捕获和处理。该工具提供的数据可能不是一流的质量。随着该工具将生成新数据，问题将会复杂化。 ChatGPT 过去曾出现过幻觉，未来可能还会继续出现这种情况。因此，必须谨慎行事。
知识产权将具有新的含义和定义。如果模型根据用户提供的数据创建分析模型或推荐新产品设计，知识产权归谁所有？当工具根据数据进行训练并生成新数据时，如何控制剽窃？所有这些问题都会突然出现，并带来前所未有的挑战。
虽然新技术带来了创新，但它是有代价的。因此，人们需要谨慎地展望未来，并为一系列将扰乱生活和业务的新问题做好准备。所以，做好准备，准备好，进入新的世界。

译者注：不管你愿不愿意，一个新的时代即将到来。

原文：

ChatGPT – the new disruptor in the Data and Analytics space

“颠覆性”科学已经衰落了

核心大图如下：

难道这就是“灌水”的魔法。

机器翻译如下：

“颠覆性”科学已经衰落了——没人知道原因

在过去的半个世纪里，将一个领域推向新方向的论文比例急剧下降。

在过去的几十年中，发表的科学和技术研究论文的数量急剧增加，但根据对论文与以往文献的差异的分析，这些论文的“颠覆性”已经下降[1]。

来自数百万份手稿的数据表明，与20世纪中期相比，2000年代的研究更有可能逐步推动科学进步，而不是转向新的方向，使以前的工作过时。1976年至2010年的专利分析也显示出同样的趋势。

明尼苏达大学明尼阿波利斯分校的社会学家拉塞尔·芬克（Russell Funk）表示：“数据表明有些事情正在发生变化。“你的突破性发现不像以前那么强烈了。”

故事引用

作者推断，如果一项研究具有高度颠覆性，后续研究将不太可能引用该研究的参考文献，而是引用该研究本身。利用4500万份手稿和390万份专利的引用数据，研究人员计算了一个被称为“CD指数”的颠覆性指标，其中颠覆性最小的作品的值为-1，颠覆性最大的作品为1。

1945年至2010年间，研究手稿的平均CD指数下降了90%以上（参见“颠覆性科学减少”），而专利的平均CD索引从1980年至2010年下降了78%以上。即使考虑到引用实践等因素的潜在差异，所有分析的研究领域和专利类型的颠覆性都有所下降。

颠覆性的科学正在减少。图表显示，随着时间的推移，所有分析领域的论文的颠覆性都有所下降。

来源：参考文献[1]

作者还分析了手稿中最常用的动词，发现20世纪50年代的研究更倾向于使用“produce”或“determine”等引发创造或发现的词汇，而2010年代的研究则更倾向于用“improve”或“enhance”等词汇来指代渐进的进步。

伊利诺伊州埃文斯顿西北大学（NorthwesternUniversity）的计算社会科学家王大顺（Dashun Wang）研究科学中的干扰性，他说：“很高兴能以如此细致的方式记录这种现象。”。“他们用100种不同的方式来看待这个问题，我觉得总体来说非常有说服力。”

西北大学的计算社会科学家Yian Yin表示，其他研究表明，近几十年来，科学创新也在放缓。但他补充道，这项研究为“研究科学如何变化的数据驱动方式提供了一个新的开始”。

王说，颠覆性并非本质上是好的，增量科学也不一定是坏的。例如，他说，第一次直接观测引力波既是革命性的，也是增量科学的产物。

亚特兰大佐治亚理工学院科学技术政策专家约翰·沃尔什（John Walsh）表示，理想情况是将增量研究和颠覆性研究健康地结合起来。他说：“在一个我们关注研究结果有效性的世界里，有更多的复制和繁殖可能是一件好事。”。

为什么逐渐降低？

沃尔什说，了解这些剧烈变化的原因很重要。这一趋势可能部分源于科学事业的变化。例如，现在的研究人员比20世纪40年代多得多，这创造了一个更具竞争力的环境，提高了发表研究和寻求专利的风险。这反过来改变了研究人员工作的动机。例如，大型研究团队已经变得越来越普遍，王和他的同事发现，大型团队更有可能产生增量科学，而不是颠覆性科学。

沃尔什说，要找到这种下降的原因并不容易。尽管在1945年至2010年间，颠覆性研究的比例大幅下降，但高度颠覆性研究数量仍保持不变。下降速度也令人费解：CD指数从1945年到1970年急剧下降，然后从1990年代末到2010年更为缓慢。他说：“无论你对颠覆性下降有什么解释，你都需要弄清楚它在2000年代趋于稳定。”。

References

[1] Park, M., Leahey, E. & Funk, R. J. Nature 613, 138–144 (2023).

[2] Cowen, T. & Southwood, B. Preprint at SSRN

[3] Wu, L., Wang, D. & Evans, J. A. Nature 566, 378–382 (2019).

更详细信息参考：

摘要

科学和技术变革理论将发现和发明视为内生过程[1，2]，其中先前积累的知识使研究人员能够（用牛顿的话说）“站在巨人的肩膀上”[3，4，5，6，7]，从而实现未来的进步。近几十年来，新科技知识的数量呈指数级增长，从而创造了取得重大进展的条件[8,9]。然而，与这一观点相反，研究表明，几个主要领域的进展正在放缓[10，11]。在这里，我们使用45个国家的数据，对这些索赔进行了60年的规模分析 百万篇论文和3.9 来自六个大型数据集的100万项专利，以及一个新的量化指标CD索引[12]，该指标描述了论文和专利如何改变科学技术引文网络。我们发现，论文和专利越来越不可能在推动科学技术向新方向发展的方式上与过去决裂。这种模式在各个领域普遍适用，并且在多个不同的引用和基于文本的度量标准[1、13、14、15、16、17]中都是稳健的。随后，我们将这种颠覆性的下降与先前知识使用的减少联系起来，使我们能够将观察到的模式与“巨人的肩膀”观点相协调。我们发现，所观察到的下降不太可能是由已发表科学的质量、引用实践或领域特定因素的变化所驱动的。总体而言，我们的研究结果表明，颠覆速度的减缓可能反映了科学技术本质的根本转变。

Newton’s words, ‘stand on the shoulders of giants’

Overall, our results suggest that slowing rates of disruption may reflect a fundamental shift in the nature of science and technology.