大数据讲课笔记2.1 初探大数据

Posted 2022-10-04 howard2005

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据讲课笔记2.1 初探大数据相关的知识，希望对你有一定的参考价值。

文章目录

零、学习目标
一、导入新课
二、新课讲解
三、归纳总结
四、上机操作

零、学习目标

了解大数据的定义
理解大数据的特征
理解研究大数据的意义

一、导入新课

大数据的快速发展在无时无刻影响着我们的生活。在医疗方面，大数据能够帮助医生预测疾病；在电商方面，大数据能够向顾客个性化推荐商品；在交通方面，大数据能帮助人们选择最佳出行方案。本次课我们将针对大数据的相关知识进行详细讲解。

二、新课讲解

（一）什么是大数据

最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡，他是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度四大特征。
研究机构Gartner是这样定义大数据的：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流转优化能力来适应海量、高增长率和多样化的信息资产。
目前，学界对于大数据的概念主要有以下三种认识：第一，从大数据“大”的特征进行界定，强调大数据是海量数据的集合；第二，对大数据进行综合、全面的界定，大数据不仅包括数据本身，还包括与大数据相关的技术、人才、制度等；第三，从大数据的价值出发，强调大数据的核心价值在于背后所蕴藏的规律，这一观点以“大数据之父”舍恩伯格为代表。大数据本身就是个开放的理念，上述对大数据概念的不同界定，反映了学者们对大数据认识的多元化，他们从个人的知识结构和研究旨趣出发，对大数据有着不同角度的解读。

（二）大数据的特征

大数据主要具有以下四个方面的典型特征，即大量（Volume）、多样（Varity）、高速（Velocity）和价值（Value），即所谓的“4V”。

1、数据体量大

根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）人类在最近两年产生的数据量相当于之前产生的全部数据量；预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。
随着物联网、电子商务、社会化网络的快速发展，全球大数据储量迅猛增长，成为大数据产业发展的基础。2017年全球大数据储量为21.6ZB，2018年全球大数据储量达到33ZB，增速达52.8%。随着信息科技的不断进步，中商产业研究院预计2022年全球大数据储量将达61.2ZB。
最新数据显示，中国的数据产生量约占全球数据产生量的23%，美国的数据产生量占比约为21%，EMEA(欧洲、中东、非洲)的数据产生量占比约为30%，APJxC(日本和亚太)数据产生量占比约为18%，全球其他地区数据产生量占比约为8%。

2、数据类型多

大数据是由结构化和非结构化数据组成的，10%的结构化数据，存储在数据库中；90%的非结构化数据，它们与人类信息密切相关。

3、处理速度快

从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少
1秒定律是互联网进入DT时代对数据处理速度的要求。当然并非严格的1秒，只是秒级的时间内给出结果，这也是大数据技术有别于传统数据技术的重要一点, 时间太长，就失去意义了。
目前，数据处理一直受限于两个方面。一个是以处理器为代表的硬件限制，处理器遵循着“摩尔定律”，折算后是年均提高52%的处理能力。而内存性能每年却只能提高9%，硬盘性能提速每年是6%。处理器与内存/硬盘的不匹配的性能导致了数据读取延迟等系列问题。就像我们的高速公路收费站，不同匝道蜂拥而来的车辆，却只有一个出入口通过，必然会带来漫长的拥堵。
另一个便是以数据库为代表的软件技术限制。涉及到海量数据存储技术、实时数据处理、高性能存储技术、检索技术、挖掘与分析技术等。也是经历了若干阶段（从OLTP/OLAP—ODS/DWD—MPP/DM）才得以实现当前可掌控的数据运算能力。2021年双“11.11”支付宝每秒成功处理14万笔交易，支付宝的支付峰值达到了每秒8.59万笔，远远领先世界纪录，马云在湖畔大学授课时也低调的宣称阿里大数据技术能力实为第一，并因此为傲，藐视BT。

4、价值密度低

大数据的价值密度相对较低。数据的价值密度和数据的规模呈反相关，数据的规模越大，数据的价值密度越低。大数据最大的价值即在于从大量低价值密度数据中挖掘出对分析和预测等有价值的信息。相较于传统数据挖掘利用结构化的数据类型，大数据把目光也投向了非结构化的、非抽样的、包含全体的数据类型。这为大数据带来了更多的有效信息，但同时也增加了大量无价值的甚至是错误的信息。
现在有人提出大数据的第五个特征：数据的可靠性。它指在数据的生命周期内，所有数据都是完全的、一致的和准确的程度。保证数据的完整性意味着以准确的、真实的、完全地代表着实际发生的方式收集、记录、报告和保存数据和信息。大数据时代带来的一个重要副作用是，很难区分真假数据，这也是当前大数据技术必须重点解决的问题之一。从当前大型Internet平台采用的方法来看，它通常是技术和管理的结合。

（三）研究大数据的意义

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流也越来越密切，生活也越来越便捷，然而大数据就是这个高科技时代的产物。阿里巴巴的创办人马云曾经说过，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，这显示出大数据对于阿里巴巴集团来说是举足轻重的。
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在于“大”，而在于“有用”。数据的价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据，发掘其潜在价值，才是赢得核心竞争力的关键。
研究大数据，最重要的意义是预测。因为数据从根本上讲，是对过去和现在的归纳和总结，其本身不具备趋势和方向性的特征，但是我们可以应用大数据去了解事物发展的客观规律、了解人类行为，并且能够帮助我们改变过去的思维方式，建立新的数据思维模型，从而对未来进行预测和推测。知名互联网公司谷歌对其用户每天频繁搜索的词汇进行数据挖掘，从而进行相关的广告推广和商业研究。

（四）拥抱大数据时代

进入2012年，大数据（Big Data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。
哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”

1、第三次信息化浪潮

根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革。当前我们正处于第三次信息浪潮（2010年前后），物联网、云计算和大数据技术突飞猛进。信息爆炸是我们当前所需要解决的主要问题。

信息化浪潮	发生时间	标志	解决问题	代表企业
第一次浪潮	1980年前后	个人计算机	信息处理	Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等
第二次浪潮	1995年前后	互联网	信息传输	雅虎、谷歌、阿里巴巴、百度、腾讯等
第三次浪潮	2010年前后	物联网、云计算和大数据	信息爆炸	将涌现出一批新的市场标杆企业

2、信息科技为大数据时代提供技术支撑

（1）存储设备容量不断增加

单位存储空间价格不断降低，开始倾向于将更多的数据保存下来

（2）CPU处理能力大幅提升

摩尔定律：CPU性能大约每隔18个月提高一倍，价格下降一半

（3）网络带宽不断增加，互联网容量不断增长

4G(100Mbps) $\\Longrightarrow$ 5G(1Gbps)
全球网络带宽的增长在很大程度上反映互联网容量的增长，两者在2017年至2021年之间的复合年增长率均为29%。香港IDC新天域互联还了解到，总体来看，国际总带宽已达到786Tbps。

（4）数据产生方式的变革促成大数据时代的来临

传统大型商业领域运营数据产生方式的变化促进了传统数据库技术、SQL、大型商业数据中心、全球商业数据网络等新的数据技术的发展，为数据提供存储和处理。互联网数据产生方式的变化与海底电缆、全球定位系统、移动通信3个信息核心技术的发展紧密相关。物联网（IoT）加快了数据产生方式的变革。
GB( $10^9$ ) $\\Longrightarrow$ TB( $10^12$ ) $\\Longrightarrow$ PB( $10^16$ ) $\\Longrightarrow$ EB( $10^19$ ) $\\Longrightarrow$ ZB( $10^21$ ) $\\Longrightarrow$ YB( $10^24$ ) $\\Longrightarrow$ BB( $10^27$ ) $\\Longrightarrow$ NB( $10^30$ ) $\\Longrightarrow$ DB( $10^33$ ) $\\Longrightarrow$ CB( $10^36$ ) $\\Longrightarrow$ XB( $10^39$ )
大数据从哪里来？

3、大数据发展历程

上世纪末，是大数据的萌芽期，处于数据挖掘技术阶段。随着数据挖掘理论和数据库技术的成熟，一些商业智能工具和知识管理技术开始被应用。
2003年-2006年是大数据发展的突破期，社交网络的流行导致大量非结构化数据出现，传统处理方法难以应对，数据处理系统、数据库架构开始重新思考。
2006年—2009年，大数据形成并行计算和分布式系统，为大数据发展的成熟期。
2010年以来，随着智能手机应用，数据碎片化、分布式、流媒体特征更加明显，移动数据急剧增长。
2011年麦肯锡全球研究院发布《大数据：下一个创新、竞争和生产力的前沿》，2012年维克托·舍恩伯格《大数据时代：生活、工作与思维的大变革》宣传推广，大数据概念开始风靡全球。
2013年5月，麦肯锡全球研究所发布了一份名为《颠覆性技术:技术改进生活、商业和全球经济》的研究报告，报告确认了未来12种新兴技术，而大数据是这其中需求技术的基石。
2014年5月，美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据：抓住机遇，守护价值》。报告鼓励使用数据推动社会进步。

阶段	时间	内容
第一个阶段：萌芽期	上世纪90年代至本世纪初	随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。
第二个阶段：成熟期	本世纪前十年	Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的GFS和MapReduce等大数据技术受到追捧，Hadoop平台开始大行其道。
第三个阶段：大规模应用期	2010年以后	大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高。

4、大数据应用广泛

大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹。

5、大数据关键技术

大数据关键技术涉及数据采集、数据存储与管理、数据处理与分析、数据隐私与安全多个技术层面

技术层面	功能
数据采集	利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础;或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析。
数据存储与管理	利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理。
数据处理与分析	利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析;对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据。
数据隐私与安全	在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全。

大数据两个核心技术

6、大数据计算模式

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批处理	MapReduce、Spark等
流计算	针对流数据的实时处理	Storm、S4、Stream、Puma、DStream、Super Mario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、Graphx、PowerGraph、Hama、GoldenOrb等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra、Impala等

7、大数据产业

大数据产业，以数据为核心，大数据是一个以数据为核心的产业，是一个围绕大数据生命周期不断循环往复的生产过程，同时也是由多种行业分工和协同配合而产生的一个复合性极高的行业。互联网时代，数据就是企业发展的生命，金融业、零售业、物流业、制造业等行业都拥有大量的数据作为企业核心的支撑，同时也在高速发展当中，面对此情形，数据处理会变得更加复杂，随着国家大数据纲要的发布，大数据产业发展将提升到国家战略层次。
大数据产业现在需要大量人才，一种为熟悉大数据算法、数据架构、系统研发等对技术要求高的专业人才。另一种是从事产业大数据推广人才，从现状来看，培养体系的不完整，人才培养无法满足大数据的发展需求。大数据产业是一个万亿级别的产业，这是毋庸置疑的。这么大的一个蛋糕，怎么分，能够分得多少，那就要看自己的本事了。贵阳现在的大数据产业规模三千个亿至少是有的，拉动了很多人才过来这也是存在的。

产业链环节	包含内容
IT基础设施层	包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数据中心解决方案的BM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、思杰、SUN、Redhat等
数据源层	大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构)、交通大数据（交通主管部门)、医疗大数据(各大医院、体检机构)、政务大数据（政府部门)、电商大数据（淘宝、天猫、苏宁云商、京东等电商)、社交网络大数据（微博、微信、人人网等〉、搜索引擎大数据（百度、谷歌等〉等各种数据的来源
数据管理层	包括数据抽取、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如Hadoop的HDFS和谷歌的GFS)、ETL工具(Informatica、Datastage、Kettle等）、数据库和数据仓库（Oracle、mysql、sQL Server、HBase、GreenPlum等）
数据分析层	包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算框架MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具（MicroStrategy. Cognos、BO）等等
数据平台层	包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，比如阿里巴巴、谷歌、中国电信、百度等
数据应用层	提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门，比如交通主管部门、各大医疗机构、菜鸟网络、国家电网等

8、大数据工程师技能树

要成为合格的大数据工程师，需要掌握大数据技术栈……
关于大数据开发工程师需要具备的技能，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：① 数仓开发工程师；② 算法挖掘工程师；③ 大数据平台开发工程师（应用）；④ 大数据前端开发工程师