2018年大数据新手入门指南!

Posted 2021-01-20

大数据的概念提出已经有一段时间了，但实际上它仍然有点模糊不清。作为人工智能、数据分析和物联网等数字化转型浪潮中的驱动力，它的概念有待在发展中重新审视。

基于以上考虑，我觉得该写一份针对初学者的指南了，解释下当下大数据的含义。这篇文章和我之前写的关于区块链的文章一样，没有深奥的术语，能够向任何知识背景的人解释清楚核心的概念和理念。

DT时代以来，我们的数据量开始指数级增长。这在很大程度上，是由于计算机的兴起，互联网和信息采集技术可以从我们的真实生活中采集数据，并将其转化为数字数据。

在2017年，我们无时无刻不在生产数据，当我们上网、使用带GPS功能的智能手机，与朋友们在聊天软件中聊天，或逛街，都会产生大量的数据。因此，你可以说，我们做每件事都会留下数字脚印，每件事都是一场数据交易。

除此之外，设备产生的数据也在迅速增长。当我们的智能家居设备相互之间或与主服务器通信时，它们在生成和分享数据。世界各地的工厂越来越多地使用配备传感器的设备来采集和传输数据。很快，无人驾驶汽车将走上街头，只要它们经过的地方，都会采集到一个实时、四维的地图。

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习企鹅群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系
?

大数据能做什么?

这种不断增长的流传感器信息，照片，文字，语音和视频数据，是大数据的基础，我们现在对这些数据的用途，在几年前是不可能的实现。目前，大数据正在以下领域帮助人们：

治疗疾病和预防×××

通过分析大量的医疗记录和图像，可以帮助人们发现早期疾病和研发出新的药物。

遏制饥饿

农业数据可以最大化地提高农作物产量，减少污染物向生态系统的排放以及优化农用器械的使用。

探索外太空

美国宇航局通过分析数百万数据，来模拟火星地表各种可能性以及部署未来研究计划。

预测和应对天灾人祸

通过分析传感器数据，可以预测地震，并在搜救地震幸存者时给出搜救线索。大数据技术也被用来监测和帮助难民离开世界各地的战区。

预防犯罪

警方正在越来越多地采用基于警方自己的情报信息和公共数据的数据驱动战略体系，来更有效地部署资源以及发挥必要的威慑作用。

让我们的生活更便利

网购，拼车或度假，自主选择最合适的时间预定机票，决定接下来看什么电影，这些便利的生活都要感谢大数据。

大数据如何工作?

大数据的原理是，你收集的数据越多，你得到的情报就越准确可靠，并对未来的发展变化做出预测。通过更多数据的碰撞比对，可以发现它们相互之间的潜在关系，以帮助我们学习和验证决定。

最常见的分析方法是，通过建立一个数据模型，不断训练收集的数据，并监测模型返回结果的自动化过程来实现。今天的高级数据分析技术可以同时运行数亿百万的数据模型，探索数据，直到迭代完善，从而解决我们面临的问题。

我们收集的很多数据都是非结构化的，以图片和视频居多(比如，上传到Facebook或Twitter上的卫星图片，以及电子邮件数据、聊天及通话记录)，这些数据很难被结构化关系型数据库处理。我们常常觉得，大数据是人工智能分析和机器学习的前沿学科，通过比人类处理数据更优秀的计算机图像识别和自然语言处理技术，可以发掘出这些数据背后的价值。

过去几年时间，大数据工具和技术主要通过Paas平台来提供。企业通过租用服务器空间、软件和第三方云服务提供商的服务，来完成所有的工作，而客户只需要在平台上支付相应费用。这种模式使得任何机构都有机会去尝试大数据领域的应用探索，因为不需要在硬件、软件、办公场地和技术开发人员方面支出费用。

大数据问题

今天，大数据带给我们前所未有的认知和机会，但它也给我们提出了一些刺手的问题：

数据隐私

现在的大数据包含了很多我们的私人生活信息，并且大部分极具个人私密性。这就促使我们在暴露私人信息与方便地使用大数据应用系统和服务之间做出取舍，我们允许谁来访问这些数据?

数据安全

即使我们为了某一特定目地而非常乐意地分享数据，但我们能确保这些数据的安全吗?现有的法律体系能规范这些海量数据的使用目的吗?

数据歧视

当个人行为被暴露后，因私人数据而遭受歧视的情况发生时我们能接受吗?我们已经使用信用评分来决定可以给谁贷款，运用数据驱动策略来决定将保险卖给谁。但我们希望这些分析和评估能够更详细一点，更谨慎一点，因为它们会让那些拥有较少资源和信息获取渠道的人，生活变得更加困难。

以上问题只是“大数据”挑战中的一部分。虽然它们只是大数据学术圈常常讨论的重点话题，但这些问题必须由那些使用大数据进行商业行为的人解决。如果他们不予以解决，会使企业变得不堪一击，并导致金融灾害和巨额罚款。

当人们刚开始谈论大数据时，被认为是心血来潮。这是因为作为时髦术语，在下一个新技术到来之前，自然被人们经常谈论，但往往昙花一现。虽然目前还没有证据证明大数据是杭儿风。事实上，就算出现新的时髦术语，大数据仍然是它们背后的驱动力。我们收集的数据只会不断增长，分析技术将变得更强。因此，假如大数据能够解决今天的一切问题，那么它的明天还难想象吗。