大数据技术原理与应用——林子雨老师MOOC知识点一

Posted 2022-01-07 阿鸣o

文章目录

• 前言
• 一、大数据概述

---

前言

大数据导论期末考试内容以林子雨老师的《大数据技术原理与应用》为主，这里整理一下林子雨老师慕课上的习题的知识点，帮助和大家进行复习。

---

一、大数据概述

1. 第一次信息化浪潮标志是个人计算机、第二次是互联网，第三次信息化浪潮的标志是：云计算、大数据、物联网技术的普及。
2. 1Byte(字节) = 8bit；
   1KB（Kilobyte，千字节）= 1024 Byte;
   1MB（Megabyte，兆字节）= 1024 KB;
   1GB（Gigabyte，吉字节）= 1024 MB;
   1TB（Terabyte，太字节）= 1024 GB;
   1PB（Petabyte，拍字节）= 1024 TB;
   1EB（Exabyte，艾字节）= 1024 PB;
   1ZB（Zettabyte，泽字节）= 1024 EB。
3. 大数据、云计算和物联网的区别
   · 大数据侧重于海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；
   · 云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价提供给用户；
   · 物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。
4. 大数据、云计算和物联网的联系
   · 云计算为大数据提供了技术基础，大数据为云计算提供用武之地；
   · 物联网是大数据的重要来源，大数据技术为物联网数据分析提供支持；
   · 云计算为物联网提供了海量数据存储能力，物联网为云技术提供了广阔的应用空间；
5. 大数据计算模式
   · 批处理计算（针对大规模数据的批量处理）：MapReduce、Spark等。
   · 流计算（针对流数据的实时计算）：Flink、Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等。
   · 图计算（针对大规模图结构数据的处理）：Pregel、GraphX、Giraph、PowerGraph、Hama、Golden Orb等。
   · 查询分析计算（大规模数据的存储管理和查询分析）：Dremel、Hive、Cassandra、Impala等。
6. 数据产生方式经历的三个阶段
   · 1.运营式系统阶段；2.用户原创内容阶段；3.感知式系统阶段
7. 大数据发展的三个重要阶段
   · 1.萌芽期；2.成熟期；3.大规模应用期
8. 大数据的特性（4V）
   · 数据量大（Volume）
   · 数据类型繁多（Variety）
   · 处理速度快（Velocity）
   · 价值密度低（Value)
9. 人类自古以来在科学研究上先后历经了实验科学、理论科学、计算科学、数据密集型科学4种范式。
10. 大数据带来思维方式的三个转变是
    · 1.全样而非抽样；2.效率而非精确；3.相关而非因果
11. 云计算的三种典型服务模式
    · 1.基础设施即服务（IaaS）；2.平台即服务（PaaS）；3.软件即服务（SaaS）