人工智能：下一个数据分析的黄金时代

Posted 2020-10-16

今天的中国正在进入数据分析的黄金时代。根据中国信通院，2016年中国大数据市场规模为168.0亿元、增速达到45%，预计2017-2020年增速保持在30%以上。而在中国信通院2017年3月的一份调查显示，有59.2%的受访企业已经建立了数据分析部门，27.3%的企业正在计划成立数据部门，绝大部分企业均已意识到数据分析对企业发展的重要性。

反应到市场的人才储备方面，在由全球数据分析领导企业SAS公司举办的2017中国高校SAS数据分析大赛上，今年的参赛队伍跳升到全国1036支参赛队伍近3000多人。而在2013年首次举办该赛事的时候，仅有55支参赛团队约150人参加，2015年达到了295支参赛团队，2016年跃升至658支参赛团队。今年的比赛，全国综合排名前三十名的高校全部报名参赛。

数据分析的高校学生群体正在快速增长，这也就是意味着未来几年的数据分析人才将有所增加。但根据Talkingdata和猎聘网的估算，我国到2020年的大数据人才缺口将达200万，核心需求包括数据工程师、数据分析师和AI工程师/科学家。前不久，美国《哈佛商业评论》发表文章指出，人工智能是下一个数据分析的黄金时代，企业需要进一步建立基于人工智能的数据分析战略。

把AI集成到数据分析战略中

自2016年以来，人工智能在市场中的声量和热度已经一浪超过一浪。从AlphaGo到AlphaGo Zero，在商业界和企业界被人工智能的飞速进展所震惊的同时，依然要保持清醒的认识，那就是任何新技术想要落实到企业的实际生产、运营和管理中时，仍然需要清晰的落地路径、可结合的业务场景以及强有力的领导力。

SAS公司的一份《集成AI到企业分析战略》的白皮书指出，人工智能和机器学习尽管功能强大，但还仅限于特定的任务，可适用的范围也有所局限。人工智能和机器学习所产生的洞察和结论，仍然需要人类智慧来决定其用途、在更大的企业战略中发挥作用，才能真正达成企业的战略目标。

为此，SAS建议企业要把人工智能集成到更大的企业战略中去考虑。在企业实施AI的时候，需要系统性的投资与计划，包括人才。在实施AI应用之前，企业必须要首先建立一个商业策略，明确AI与数据分析要形成合力，才能真正让AI见效。企业还需要相应建立AI与数据分析分析领导力：人员、流程与技术。

SAS白皮书认为，AI不能以黑盒方式运作于企业的数据分析战略之外，而必须与企业的整体数据分析结合起来。不同的分析方法，适用于不同的业务场景。有的场景下，适用基于统计学等的数据分析；而有的场景，则适合用人工智能与机器学习的方式处理。

SAS公司作为全球最大的数据分析供应商，也在发展自己的人工智能与机器学习技术。与其它技术供应商不同的是，SAS在人工智能方面的核心竞争力，是把传统数据分析和现代机器学习算法集成到一个SAS平台上：也就是一个平台、任何分析算法。而这对于企业来说，是最理想的选择，这样可以在一个企业级技术平台上，管理所有的算法和分析。

一个平台、任何算法

成立于1976年的SAS公司，一直专注于商业数据分析领域。SAS公司在2016年被超过30份权威分析机构的报告或评估中被列为领导者，这包括分析、数据管理、数据整合、数据质量、数字营销、高级和预测分析、客户洞察、零售分析、商业智能、欺诈检测、安全解决方案等。根据IDC，SAS占全球高级和预测分析市场33.3%的份额，比前10名中其它9家相关厂商营收的总合还要多。

对于SAS公司来说，人工智能与机器学习也一直是其关注的算法方向。在机器学习领域，SAS重点关注深度学习算法；在自然语言处理领域，SAS重点关注自然语言理解。其中，深度学习算法可以让机器处理海量的数据，而不断增长的计算力则能让机器处理更大规模的算法模型；加上通过自然语言与机器进行交互，就可以创造人机之间更强的协同。

有了深度学习和自然语言理解这，企业就能在业务场景中创建模式识别、预测、分类、图像识别、语音识别、基于认知的搜索、自然语言交互和自然语言描述等AI能力。比如自然语言描述就是用机器分析大量的文档，然后机器再以自然语言的方式进行总结，将结果返回给人们；基于认知的搜索，就是通过根据网民的画像，推荐同类用户都喜欢的商品。把这些AI能力组合，就可以开发出AI应用。

SAS公司在深度学习方面已经有超过40年的研究历史，而在自然语言理解方面也有超过30年的研究投入。今天，这些研究成果都已经嵌入到了SAS数据分析平台产品中，包括SAS 9平台和SAS Viya云服务。通过SAS一个平台跨本地部署和云端，企业可以管理整个分析的生命周期。

SAS公司大中华区总裁吴辅世强调，SAS公司过去两年投入了10亿美金开发了新一代的SAS Viya云平台，是云分析、高性能分析、人工智能分析等统一集成开放平台，而无论是SAS 9还是SAS Viya都拥抱和融合了开源分析技术，从而成为新一代企业分析的关键性技术平台。

SAS开源技术白皮书指出，SAS 9和SAS Viya都兼容开源的机器学习语言Python和R，与Hadoop开源大数据框架结合，能够在混合云环境中很好的转换。SAS公司还在数据治理、可扩展性、兼容性、用户交互、可视化分析、可移植部署、高效运算等方面，对人工智能和机器学习算法进行了商业化和工程化处理。

此外，SAS也支持开源应用和SAS平台之间的相互调用，SAS也在Github维护了由SAS负责的开源项目。作为开源项目开放数据平台（Open Data Initiative，ODI）的创始成员、数据管理项目（Data Governance Initiative，DGI）的合作伙伴，SAS公司一直保持与开源社区的互动。

最佳高级分析实践

在2017年第三季度的时候，美国数据科学领域的市场调查公司TDWI发布了一份《高级分析：迈向人工智能、机器学习和自然语言处理》企业调查报告，指出已经有不少企业率先采用了人工智能、机器学习和自然语言处理，其中多数是联合使用商用和开源技术，特别是用开源技术建立模型后再投产到商用工具平台上，而先行者们已经从这些新型高级分析技术和应用中受益。

TDWI发现，那些成功部署了高级分析技术的企业，更愿意衡量这些技术所能创造的价值。这是因为，在这些企业中已经形成了数据分析的良性循环。也就是说，当一个企业向分析平台中添加更多的数据时，就能产生更好的分析结果，更好的分析结果能驱动企业更加成功，而当企业一旦在分析的基础上实现了更高营收后，就更愿意向新的分析技术进行投资。TDWI称之为“分析的成功周期”。

在前期已经见效的AI等新型高级分析应用中，既有传统的金融欺诈与风险分析、用户行为分析等场景，也有预测性维护场景，还有互动聊天机器人以及嵌入了自然语言交互的B2B应用，在图片分析和疾病诊断中也使用了深度学习的方法，其它场景还包括翻译、新药开发、认知教师、网络安全、智能汽车等等广泛的领域。

TDWI发现，这些成功的早期采用者有两个普遍的最佳实践：在应用AI等新型高级分析技术之前，必须要清楚地明白和理解企业的目标；其次是IT部门要与业务部门一起合作，才能真正把AI等新型高级分析技术在企业内落地。TDWI指出，在实施AI等新型高级分析技术时，要有一个清晰的项目目标，从而让所有项目涉及到的利益方都能够认同项目，还要时刻保持对项目目标的关注。

在具体实施AI等新型高级分析项目时，还有一个成功策略：建立最佳实践中心（CoE）。所谓最佳实践中心，即由跨部门、跨职能、跨组织的高级分析领导力成员所组的小组，这个不组不仅负责构建和部署分析技术与策略，还负责在企业内部培训以及传播最佳分析实践。

其它的最佳实践还有获得企业高层的认可、分析的结果可衡量、在定义项目目标前先做数据实验、组建核心团队构建PoC概念验证、建立内部信任、对分析成果不断沟通与传播等。

SAS公司赞助了TDWI的本次用户调研。通过调研，TDWI总结了机器学习、自然语言处理和人工智能等技术的10大最佳实践：理解业务挑战、尽快从小处起步、了解开源技术的好与不好、雇用数据科学家、建立最佳实践中心、由分析专家执掌和管理项目、要考虑基础设施（包括云）、注意数据质量、分析结果要可执行、了解分析成功周期。

人工智能将推进数据分析进入到新的黄金时代，2018年将举办首届SAS数据分析企业大赛，相信有更多的企业代表将带来在人工智能与数据分析方面的实战见解与经验分享。

对于正在建立人工智能战略的企业来说，应当认识到人工智能与数据分析必须结合在一起才能真正为企业创造商业价值。正如Gartner近期指出：首席数据官应马上认识到，为了让人工智能发挥出全部潜力，必须在数据科学领域培育更高的组织能力，并利用数据与分析获得各种洞察力。（文/宁川）