一、为什么有大数据
我的理解是:
1)数据量达到了传统数据库的瓶颈
2)数据量的激增
3)硬件成本的降低 [ 技术水平的上升 ]
4)想通过大量的数据发现潜在的商业价值
二、什么是大数据
大数据指的是:无法在可承受时间内用常规的软件工具 [ 传统数据库 ] 对其内容进行抓取、管理和处理的数据集合。也可以理解为 大数据=“海量的数据”+“复杂的数据类型”
三、大数据的技术框架
Hadoop相关的技术
计算框架:MapReduce
资源管理:YARN
存储依赖:HDFS
数据采集:Flume
数据的缓存:Kafka
离线处理:Hive
实时处理:Storm、HBase
协调者:ZooKeeper
... ...
Spark相关的技术
Spark Core
Spark SQL
Spark Streaming
Spark MLlib
Graphx
四、大数据的作用及前景
作用:海量数据的存储,挖掘数据潜在的商业价值,精准营销,路况分析等
前景:智能家居,远程教育(贫困山区),远程医疗等