数据分析的未来
Posted 孔明大数据
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据分析的未来相关的知识，希望对你有一定的参考价值。
转自大数据文摘
记者：魏子敏
近日，2018 Teradata全球用户大会在美国拉斯维加斯举行，来自全球15个国家近3000多名数据领域从业者出席了大会。会上，曾出任美国前总统奥巴马科技顾问的Stephen Brobst以《数据分析的未来》为题进行了演讲，并接受了《大数据文摘》的专访。
作为数据分析领域功力深厚、富有远见的骨灰级大咖，Stephen对数据分析未来的解读颇有前瞻性：他认为大数据这个词终将消失，人类将迎来“全量数据时代”；而对于那些只依靠技术工具进行数据分析的业务类专家，他预言这个职位岌岌可危……以下是他关于数据分析发展的观点摘要：
1. 从大数据思维到全量数据思维
Stephen提出未来数据分析的一个重要趋势，是从大数据思维向全量数据思维转变。在未来，数据量级已经不再是衡量数据分析的最重要指标，最重要的价值将来自全量数据分析，整体数据的整合。所以，Stephen认为“大数据这个词或许将会消失，取而代之的是【数据】或者【所有数据】，但数据分析会一直存在。”
无独有偶，在上个月刚结束的百度世界大会上，李彦宏也提出了百度的全量数据思维。Robin认为，互联网时代和人工智能时代最大的不同，就是在数据分析上到底是用抽样方式，还是全量数据获取分析方式。
显而易见的是，后者更加符合当前时代的发展特点，特别是在一些特定应用场景下，比如智能交通领域，用全量实时的数据来感知交通实际情况，城市每一辆车所在的具体位置，每一个红绿灯路口的车辆规模，以及每辆车移动的方向，等等。通过对这些情况进行全局调整，将大幅度提升城市交通运营效率。
AI思维的智能交通，具备全面感知、全局决策、实时控制的特点，可以大幅度提升城市交通效率，改善人们的生活体验，大大提高人们的幸福感。
2.新的分析技术将拓宽分析界限
斯坦福大学教授李飞飞曾公开表示：人工智能、机器学习仍然是一个进入门槛高的领域，需要大量专业知识和资源，而很少有公司自己能负担得起这些资源。今天，虽然AI能为企业提供无数的益处，但由于资源稀缺，多数企业还无法开发个性化的模型。
越来越多的数据分析技术在算法自动化上的设置也显然是奔着解决这一痛点而去的，比如Google的AutoML，这些自动化的分析工具正在让智能分析的门槛变低，界限变广。
那么，高质量的数据分析工具是否会降低使用者对于数据和数据人才的重视程度呢？“高质量的数据仍然非常重要”，针对这一问题，Stephen告诉大数据文摘，“现在，尽管分析工具越来越智能，但他们的使用前提依然是没有偏向（bias）的数据，和懂得这些数据的专业人士（数据分析师和数据科学家）”。
“深度学习算法实际上非常适合处理数据质量问题。很多公司现在用无监督学习的反馈循环来解决数据质量问题，但我们还是希望，在数据搜集的过程中就尽量最小化数据偏见。数据科学没有魔法，它不是一个工具就可以解决的问题。你可以通过一些步骤来测试有偏见的数据，但这是件很微妙的事情。”
“你必须雇用那些知道自己在做什么的人。”Stephen不无担心的表示，业内现在存在很多只懂业务、不懂统计的“公民数据科学家（citizen data scientist）”，这是非常危险的。他们严重依赖技术工具进行数据搜集和分析，并不知道自己在做什么，“这很可能会导致严重破坏性的结果”。
3.智能分析需要业务场景
的确，统计知识对于数据分析举足轻重，但是这并不代表着可以忽略业务知识。Stephen指出，无论是今天还是在未来，智能分析只是决策中非常小的一个部分，端到端的业务分析和场景都至关重要。
只有把系统部署到真实世界中用起来，拿到新的反馈、改进模型，才能获得真实场景下解决问题的思路。Stephen还指出，如何吸取和提炼这种经验也很重要，如果没有总结能力和提取能力的话，换个新问题你还是不会做。
Stephen给出了一系列人工智能和数据分析的应用代表领域，比如很重要的一个应用场景是反欺诈，有了深度学习以后，它可以很大程度上降低欺诈的情况，使欺诈行为发生的越来越少，尤其是考虑到罪犯是变换不同的欺诈手法，因此机器学习高效率的学习速度非常适合这一场景。
还有一部分美国人爱写支票，金融机构需要识别支票上的签字，因为人写字的时候有时写的乱七八糟，有时写的模糊不清，准确识别出来还是挺不容易的。现在有了深度学习，用它来识别手写字体，机器（算法）要比人做的更好。
4.未来属于能将数据转化为产品的企业
“数据挖掘可以产生很多洞察，但只有生产落地才能创造真正的价值”，Stephen认为未来数据分析的第四个趋势，是技术能力必须与产品结合起来。
“在硅谷，要么你已经是一家数据公司，或者将来会成为一家数据公司，或者已经被彻底淘汰。因为大数据正在变革各个行业认识自己的方式。”
现在，通信行业不再是收取订阅费的行业，而变成了收集数据，并将数据货币化的过程。电信企业把数据收集起来，把信息递交给业务的决策者，他们就会做出更好的决策。
Stephen称，未来属于能将数据转化为产品的企业，现在我们就需要越过商业智能的思考，进入工业生产领域的思考，这样才能真正的让分析产生价值。
孔明科技一直致力于将数据科学以更为通俗更加易用的方式提供给企业，辅助企业进行数据资产的价值挖掘，核心产品Elemental是基于分布式架构的数据挖掘、建模分析的机器学习平台，已在数据驱动营销、数据辅助物联网运维等场景开展了丰富的应用。孔明科技期待与各行各业的数据挖掘、建模分析爱好者携手，共同推进中国数据分析产业的发展。
以上是关于数据分析的未来的主要内容，如果未能解决你的问题，请参考以下文章