了解大数据技术原理与应用（复习知识点）

Posted 2021-12-04 登登登__

目录

①大数据（Big Data）与云计算、物联网的相互关系

②介绍Hadoop、MapReduce、HDFS和HBase以及其他功能组      件，复习重点以及其他可用点！

 一 大数据介绍

1信息科技为大数据时代提供技术支撑

2数据产生方式的变革促成大数据时代的来临

3大数据特点

4大数据影响

5大数据关键技术

6 大数据产业

7大数据与云计算、物联网的关系

二  Hadoop

---

①大数据（Big Data）与云计算、物联网的相互关系

②介绍Hadoop、MapReduce、HDFS和HBase以及其他功能组      件，复习重点以及其他可用点！

三次信息化浪潮

一 大数据介绍

1信息科技为大数据时代提供技术支撑

☺存储设备容量不断增加

☺CPU处理能力大幅提升

☺网络带宽不断增加

2数据产生方式的变革促成大数据时代的来临

·运营式系统阶段

·拥护原创内容阶段

·感知式系统阶段

3大数据特点

①数据量大

②数据类型繁多

③处理速度快

④价值密度低

4大数据影响

四种范式：

实验科学   理论科学 计算科学 数据密集型科学

5大数据关键技术

层面分为：

数据采集与预处理

数据存储和管理

数据处理与分析

数据安全与隐私保护

数据计算模式分为：

批处理计算  MapReduce  Spark

图计算  百度的DStream  淘宝的银河流数据处理平台

图计算  Pregel

查询分析计算 Impala

6 大数据产业

IT基础建设层

数据源层

数据管理层

数据分析层

数据平台层

数据应用层

7大数据与云计算、物联网的关系

 云计算：虚拟化 分布式存储 分布式计算 多租户

物联网：识别和感知技术 网络与通信技术 数据挖掘和融合技术

二  Hadoop

……