大数据时代，未来将去向何方

Posted 2021-09-26 manor的大数据奋斗之路

彩蛋 | 大数据时代，未来将去向何方
2021/04/19 荒川

这一讲是在最后补加的彩蛋，我们的正课实际上已经结束了，但是关于大数据的学习还远没有结束。专栏中涉及的内容繁多且复杂，虽然我们在开篇词里已经整体介绍了大数据的内容，以及就业相关的注意事项，但是我想过了这么久可能你已经有所遗忘。这一讲，我们再来梳理一下大数据发展的脉络，并给你提供一些学习建议，希望能够帮助你进一步巩固已学习的知识，为未来发展打下坚实的基础。

大数据的发展时间轴
首先我们按时间顺序回顾一下大数据的发展脉络。大数据技术并不是凭空出现的，数据本身就存在，只不过随着软/硬设施的发展，突然进入了一个爆发时代，由量变引发了质变。当数据量发生暴涨时，很多原有技术无法充分满足现有的需求，因此才出现了大数据技术。

大数据的发展可以追溯到数据库时代，数据库的出现解决了数据存储的问题；后来数据的运算工具——Hadoop 的诞生，使得大数据的价值能够以更低的成本展示在世人面前。随后，大数据展现了百花齐放的景象，各种工具、技术、概念层出不穷。

在 2010 年的 Hadoop 世界大会上，著名的 BI 软件供应商 Pentaho 公司提出了数据湖的概念，数据湖把各种类型的数据不加处理地汇聚到一起，利用数据湖强大的大数据查询、处理、分析等组件对数据进行处理和应用。

后来，大数据平台出现，能够一站式解决大数据开发的问题，大数据的发展开始向业务倾斜，从技术逐步走向业务层面。

时至今日，阿里提出“数据中台”的概念：大数据不仅仅是一个技术问题，更多的是一个业务问题。在阿里的数据中台中，已经把数据和业务紧紧捆绑在了一起。数据中台更强调应用，离业务更近，强调服务于前台的能力，能更快速地响应业务和应用开发的需求。

常见的大数据核心技术
大数据的发展不仅是概念的变更，对于我们研发人员来说，更多的是核心技术的更迭。我们的专栏中也讲了很多核心技术相关的内容。

作为当前大数据技术的基石，Hadoop 体系及其衍生工具是一定要掌握的，其中的核心技术有两个，一个是用于存储的HDFS，一个是用于计算的MapReduce。在此基础上，扩展了数据库 Hbase 和 SQL 化工具 HIVE，与其搭配的还有用于数据传输的 Kafka、收集日志的 Flume，还出现了替代 MapReduce 的产品 Spark 和 Flink。

当然，不只有 MapReduce 存在替代产品，我们讲到的每一个工具在不同的生产环境都有若干替换产品。上面提到的都属于大数据的底层工具，负责提供数据传输、存储、计算，此外还有各式各样的数据挖掘工具、数据分析工具、数据可视化工具等，用于提炼数据价值，为我们的业务提供支持。

搭建这样一套庞大的核心技术层，业务目标当然不只是做一个数据报表这么简单。当前互联网公司大数据应用最广泛的就是推荐系统和数据化运营。

绝大多数互联网公司担任着平台的角色，通过平台向用户展示内容、商品或广告，吸引用户阅览、购买等。围绕着这些场景化需求，可以通过自动化的技术方案，利用机器自行学习用户特征和物品特征匹配，完成业务目标，这就是我们说的推荐系统；另一个常用的就是数据化运营，即按照用户的主观意愿进行定制化。当然，大数据的应用相当广泛，我们专栏并没有全部介绍，随着你工作的深入可以遇到更多应用场景。

大数据相关工作的能力需求
通过我们梳理的大数据发展时间轴，你可以发现大数据流行时间不算久，并且正处于一个高速发展的时期。可能你正在从事或是想要成为其中的一员，那么你应该具备什么样的能力呢？具体的技术能力我们在正文部分已经介绍过了，这里就不再赘述。下面我们来聊一聊应对未来的情况，你所需要的能力。

专业基础技能
首先还是专业基础技能，这也是最重要的能力。比如说你想成为一个大数据开发技术人员，你的专业基础技能就是掌握代码的编写；成为一个商业分析师，你的专业基础技能就是数据分析能力。

专业基础技能很容易考察，只需让你动手实践就可以判断你掌握的程度，当然所有职业最重要的能力都是专业基础技能，这也是你工作的基本职业要求。

学习能力
在这个快速发展的时代，大数据工具和核心技术发展也是日新月异。作为专业技术人员，首先你要学习的就是不同工具的使用。如果公司也处于快速发展时期，技术框架的迭代会非常迅速，你需要持续学习新技术并能快速运用到工作中。

当然，如果你有跳槽的打算，不同公司可能采用的不同技术框架，对内部系统的封装上面也存在着很大的差异，学习能力此刻会成为你适应环境的重要技能。

业务理解力
最后一项通用能力是业务理解力。大数据时代对技术人员的要求不再是单纯掌握技术，而是把技术应用在业务上面，产生业务价值。有关业务的理解，我们在数据挖掘、数据分析和可视化、数据化运营、数据中台的课程中都提到过，你可以参考学习。

大数据本身就是为了挖掘数据中的业务价值而存在的，所以你需要有很强的业务理解力，能够明白你所做的事情的前因后果，才能发挥最大价值，避免“技术自嗨”。当然，业务理解力比基础技能和学习能力培养更困难，需要你在工作中多观察、多思考、多提问。

往后的路还很长，或许你已经在这个行业里摸爬滚打多年，或许你正准备进入这个行业，又或许你只是在观望这里的情况，但是不管怎样，大数据的发展进程不会慢下来，反而会越来越快。之前是互联网行业，以后也会逐步过渡到传统行业，越来越多的公司将会利用大数据赋能自己的业务，从大数据中发掘业务价值，所以对大数据人才的需求也会越来越旺盛。

大数据的工具和技术千变万化，但是掌握上述三个能力，可以帮你在未来的工作中以不变应万变，不管你未来去向何方，都能成为一个合格的“掌舵人”。

学习书单
最后，我整理了一份书单，列出了与我们课程中一些重点部分相关的学习书目，帮助你加深理解。当然，不是说只看这些书就可以了，大数据相关的内容过于庞杂，只介绍书单都可以单独写一本书了。

我列举书单的目的是希望帮助你在某一点深入学习 ，一本书中可能引用到另外一本，或者另外若干本。如果你对某一个方向感兴趣，你可以从其中一本书出发，我相信很快你也能找到更多学习资料。