大数据技术原理与应用

Posted 2023-03-03 Moliay

一、大数据概述

1.1大数据时代

三次信息化浪潮

1.2大数据的概念和影响

• 大数据的4v特征
  volume大量化、velocity快速化、variety多样化、value价值化

  • 数据量大
  • 数据类型繁多 – 大数据是由结构化和非结构化数据组成的
  • 处理速度快
  • 价值密度低，商业价值高 – 连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值
    

• 大数据的影响

  • 思维方式方面：大数据完全颠覆了传统的思维方式（全样而非抽样、效率而非精确、相关而非因果）。
    (因为是全样,所以无需担心误差放大,进而无需关注精确而需关注效率)
  • 社会发展方面：大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现。
  • 就业市场方面：大数据的兴起使得数据科学家成为热门职业。
  • 人才培养方面：大数据的兴起将在很大程度上改变中国高校信息技术相关专业的现有教学。
    

1.3大数据的应用

(谷歌预测流感,大数据🐂)

1.4大数据的关键技术

1.5大数据,物联网和云计算

1.5.1 云计算

* 解决了两个核心问题,即海量数据的分布式存储和分布式处理问题
* 典型特征是虚拟化和多租户

(老朋友 自来水)

(公有云:例如百度)

1.5.2物联网

• 物联网的关键技术:识别&感知
• 大数据(此时指数据处理技术,非数据本身):如何存储&如何处理

(三者不断融合发展,相辅相成)

检测题

• 单位换算
  1KB (Kilobyte 千字节)=1024B，
  1MB (Megabyte 兆字节 简称“兆”)=1024KB，
  1GB (Gigabyte 吉字节 又称“千兆”)=1024MB，
  　　 1TB (Trillionbyte 万亿字节 太字节)=1024GB，其中1024=2^10 ( 2 的10次方)，
  　　 1PB（Petabyte 千万亿字节 拍字节）=1024TB，
  　　 1EB（Exabyte 百亿亿字节 艾字节）=1024PB，
  　　 1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024 EB,
  　　 1YB (Yottabyte 一亿亿亿字节 尧字节)= 1024 ZB,
  　　 1BB (Brontobyte 一千亿亿亿字节)= 1024 YB.
  (k m g t p e z y b 提屁姨，贼一笔)

本周课程完成,下周见