大数据分析三个阶段是什么

Posted 2020-12-15

大数据是现代做人耳熟能详的热门话题了，甚至街边玩耍的小孩也能说上几句大数据的词语。但是，自从大数据逐步进入中国，然后开始慢慢热起来火起来，你知道大数据有哪几个阶段吗？

　　数据分析至少存在三个阶段：

　　阶段1：熟悉计算工具

　　第一个阶段是熟悉计算工具阶段，也就是能从数据中正确计算出结论。这一阶段需要的是编程能力和基础的逻辑分析。在这个阶段，需要打好基本的编程和数理基础，比如如何使用一种编程语言从某个数据源中提取数据，进行必要的转化，生成一个结果。在这个阶段，我经常认为数据分析就是编程。那时也对编程和数据分析产生很大的畏难情绪，觉得自己离学好编程、使用好各类工具的状态有很大差距。

　　同时，我也对如何分析数据感到一筹莫展。虽然在学校课堂和各类网络教程中学过很多编程方面的技术，也能够看懂一些别人的程序，但是对于一个崭新的问题，我不知道使用哪种工具，编写什么样的程序，进行哪些方面的分析。

　　处在这个阶段，我认为主要因为自己的编程经验停留在“学”上，还没有过度到“用”的境界。只能说学会了一些工具（比如编程语言），但是不知道如何应用。另一方面，自己的实战经验太少，没有实战经验，只学习一些表面的皮毛，出去忽悠一些非科班的人还像模像样，但是真正让我去做一个新案例的数据挖掘和分析，我可能完全不知如何入手。

　　在这个阶段，我们一方面需要打磨自己的编程能力，另外一方面也不断学习一些数学模型，包括各类机器学习算法、概率论等。

　　阶段2：提升分析能力

　　随着对编程工具的熟悉，比如开始熟悉了Shell、SQL、Python、大数据等，我发现使用工具不一定能得出特别好的结论。

　　经济学有一个关于啤酒和尿不湿的例子：沃尔玛一家分店的营销经理对超市的销售数量进行设定跟踪，有一次他发现了一个很奇怪的现象：啤酒与尿不湿的销量在周末总会出现成比例增长。主要因为爸爸们周末采购时，买完尿不湿想顺手捎带几瓶啤酒。

　　其实，获取到这个数据并不难，但原始数据中绝对没有这个现成的结论。进行数据分析的第一步是找到一个方向，先看看哪些潜在的假设能够解释现象。比如，这个例子中，沃尔玛对销售数据做相关性分析。数据是死的，是躺在硬盘中的一堆字符。如果没有一个基本的假设或者方向，即使有再强大的编程能力，也很难得出一个观点或结论。

　　这时候我们能够看懂很多数据分析的报告，能够开始建立起数据之间的联系。如果有一些高人指点，加上实战练习，在数据分析上可以有茅塞顿开般的提升。

　　很多入门和初学者基本上都停留在第一阶段和第二阶段的初级水平。一部分人在这个阶段做大量重复性的工作，多年可能没有任何进步，无法进入到下一阶段。

　　阶段3：形成思维方式

　　说实话，以前我认为现代社会发展变化太快，新事物层出不穷，经验不值一提。但是接触了越多的大牛，我开始发现这些人的经验才是他们安身立命之本。经验不局限于数据、工具或者技术，经验是逐渐培养起来的，是分析问题的思维方式。金庸在他的武侠系列中一直强调内功的重要性，经验就是这样的内功。

　　数据分析的最后一个阶段，一般是团队的领导需要达到的水平。由于团队的领导一般具有多年的实战经验，他们可以很快发现问题。当我还是小白的时候，我发现团队的领导几乎天天都在看数据，每次开会都在讨论数据，从一张数据图中他们可以很快发现一些问题，面对新问题，他们也有很多解决思路和探索方向。而且，这里的团队领导不仅限于技术团队，包括产品或者运营相关团队的领导也对数据有很强的敏感性。比如，在与产品沟通的通气会上，产品团队的领导经常抓住数据可疑点，让我们技术团队来解释背后的原因。我非常震惊，为什么非技术出身的他们，也能找到一些问题的关键。再到后来，我发现不仅仅是互联网行业，各行各业的佼佼者都对数据非常敏感，都有一套问题求解的思路。比如，我之前以疫情分析为例的那篇文章疫情分析是最好的实战教材中列举了一些作者，他们分析问题的能力都值得我们学习，实际上他们并不都是100%的技术背景出身。

　　后来，我渐渐明白了，数据分析不局限于技术和工具，它本质上是一种思维方式。真正的数据分析大师能快速通过一些现象，找到背后的逻辑。因此，无论你是不是纯技术出身，如果坚持对很多问题进行深入思考，从实战中获得经验，那么你可以用一个Excel来分析出你想要的结论。

　　一些误区

　　处在第一、二阶段的朋友会觉得数据分析的核心是编程、模型和技术能力，有时候他们会掉入两个误区：

　　认为数据分析就是各类工具的总和，拼命学习各类编程和算法，但是没有实战经验，无法将理论应用到实际。或者不善于将一些工作提取成为宝贵的经验。

　　掌握了一些高大上的算法，在工作中发现很多时候都是在重复性地做一些数据提取的工作，对当前的工作非常失望，觉得自己的屠龙之术无法应用，认为是当前的工作岗位限制了自己才能，想跳槽。

　　第一类误区认为数据分析是一种技能，追逐技能加成，忽视如何形成自己的思维方式。

　　第二类误区其实是第一类的另一种表现形式，仍然觉得只有掌握了一些技术，才可以做好数据分析。想通过换一个新的环境，期望在新工作中学到更多的屠龙之术，这样才能积累相关的经验。从团队领导的角度，新团队的领导其实是不会将一个更复杂的数学模型交由一个团队新人来做的，因为不信任。我建议，在这种情况下，不如在原工作岗位的基础上做一些深挖，看看有没有机会突破当前的自己。

　　大数据分析三个阶段是什么.中琛魔方大数据分析平台表示孙子兵法说求之于势，不责于人，故能择人而任势。核心的就是在不同的大环境和实际下要做出符合与环境和时机的改变。才能赢上和抓住这一波带来的机会。