三生三世，十里挑花‘’大数据爱我你够了吗？

Posted 2020-11-01

现在大数据发展越来越火，趋势日益红遍半边天。 就像现在很受广大青年热爱的手机游戏‘’王者荣耀‘’，‘’绝地求生‘’等游戏，但是大家都知道，游戏往往都是盛极一时，到后来石沉大海。。。。那么，我们在大数据发展的很多小伙伴会不会也有一下两个担心：

NO.1当前大数据行业真的是人才稀缺吗?
回答：对!未来人才缺口150万，数据分析人才最稀缺。

先看大数据人才缺口有多大?

根据LinkedIn(领英)发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。

其中数据分析人才最为稀缺、供给指数最低。同时，数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。

而清华大学计算机系教授武永卫去年透露了一组数据：未来3-5年，中国需要180万数据人才，但目前只有约30万人。

NO.2大数据行业未来会产能过剩吗?

提供大数据技术与应用服务的第三方公司面临调整，未来发展会趋集中

关于“大数据概念是否被过度炒作”的讨论，其实2013年的夏季达沃斯就有过。彼时支持“炒作”观点的现场观众达54.5%。对此，持反对意见的北京大学光华管理学院副教授苏萌提出了三个理由：

不同机构间的数据还未真正流动起来，目前还只是数据“孤岛”;

完整的生态产业链还未形成，尽管通过行为数据分析已能够分辨出一个消费者的喜好，但从供应到购买的链条还没建成;

数据分析人才仍然极度匮乏。

4年之后，舆论热点已经逐渐从大数据转向人工智能，大数据行业也历经整合。近一年间，一些大数据公司相继出现裁员、业务大调整等情况，部分公司出现亏损。那都是什么公司面临危机呢?

基于数据归属，涉及大数据业务的公司其实有两类：一类是自身拥有数据的甲方公司，如亚马逊、阿里巴巴等;另一类是整合数据资源，提供大数据技术与应用服务的第三方公司。目前行业整合出现盈利问题的公司多集中在第三方服务商。

对此，LinkedIn(领英)中国技术副总裁王迪表示，第三方服务商提供的更多的是技术或平台，大数据更多还是让甲方公司获益。

在王迪看来，大数据业务要产生规模效益，至少要具备三点：算法、计算平台以及数据本身。“第三方大数据创业公司在算法上有一技之长，而计算能力实际上已经匀化了，传统企业如果用好了，和大数据创业公司没有区别，甚至计算能力更强，而数据获取方面，很多数据在传统行业内部并没有共享出来，第三方大数据公司获取这些数据是比较困难的，最后可能谁有数据，谁产生的价值更高。”说白了，数据为王。

在2013年，拿到千万级A轮融资的大数据企业不足10家，到2015年，拿到千万级以上A轮融资的企业已经超过30家。直到2016年互联网资本寒冬，大数据行业投资热度有所减退，大数据行业是否也存在产能过剩?

王迪认为，目前的行业整合属于正常现象，“经过市场的优胜劣汰，第三方服务领域会出现一些做得比较好的公司，其他公司可能被淘汰或转型做一些垂直行业应用。从社会来看，总的需求量一定是增加的，而对于供给侧，经过行业自然的洗牌，最终会集中在几家优秀的行业公司

总之，大数据行业发展空间是非常巨大的，那么大数据价值所在呢？这就需要你自己去定义。

大数据绝不只是数据大，不能光看字面意思。可以说大数据是一套技术体系，可以说是一种认知挖掘过程，也可以说是一种方法论和管理决策思维。我们要搞懂大数据的价值，首先绕不开数据挖掘（或更窄的机器学习、或更广义的人工智能技术）。数据挖掘（Data Mining），又称为资料探勘、数据采矿，或数据库知识发现（Knowledge-Discovery in Databases，KDD)。数据挖掘一般是指从大量的数据中通过各种算法挖掘隐藏于其中的规律和有价值信息的过程，通常通过统计方法、机器学习、专家系统、模式识别和在线分析处理等诸多方法来实现上述目标。现阶段大数据领域注重数据采集、数据存储、基础计算和可视化等层面，唯独对数据挖掘建模和决策支持这两个硬骨头没有展开深入研究和对接，这是大数据难以落地的根本原因。我们大多数人决策其实是靠感觉、个人经验或别人建议，少部分人会亲自对报表等小数据进行客观数据分析。而大数据为我们提供了一种更加可靠的决策支持，毕竟数据不会说假话。大数据本身不产生价值，大数据的根本用途是利用大数据挖掘分析对我们的决策提供规律、知识和经验等科学依据，客观上减少面对未来决策的不确定性。所以，以业务决策支持为分析目标，大数据不靠大，小数据也一样有大价值。为什么大数据的价值需要我们自己去定义呢？因为对于未来、对于未知领域，我们每个人或组织面临的不确定性问题是不一样的，有的偏个体（如疾病诊断，犯罪预测），有的偏大众（如广告营销、客户细分），有的偏微观（如基因序列，个性化教育），有的偏宏观（环境监测、天文数据处理），有的关注资源优化配置（如供需匹配，出行服务），有的关注宏观决策（如政府资产分析、综合管控）…可以说大数据分析需求无处不在，而又大不相同。这就需要从自身实际需求和数据、技术现状出发，自行设定大数据分析的价值和应用目标，生搬硬套互联网公司那套做法，不可取。

大数据这个行业需要我们大家深入的去探索，去发展，每个人有每个人的见解，不同人思考的方式不同，想像空间不一样，可能你焦头乱额的问题换成别人的一种思维方式打开就迎刃而解了，所以我希望大家可以多多交流，你为别人解决困难的同时也可以在别人身上学到你不曾透彻了解的的东西，所以我创建了一个交流群 希望大家加入到这个大家庭，我们一起携手共创美好未来，有兴趣的可以加进来QQ：719301411