大数据入门

Posted 2021-01-28

从技术实施层次上，大数据产业链分为四个层面，
1.大数据应用（政府、金融、运营商、互联网等）、大数据交易、大数据运营
2.大数据分析工具（数据处理、数据挖掘、可视化、模型预测）
3.基础软件平台（数据采集、内容复制、数据库）
4.基础设施（计算、存储和网络）
大数据产业链有四种角色：数据提供商；算法提供商；数据优化商；应用提供商
8 bit=1 Byte
1 KB=1024 Byte
1 MB=1024 KB=1048576 Byte
1 GB=1024 MB
1 TB=1024 GB
1 PB=1024 TB
1 EB=1024 PB
1 ZB=1024 EB
1 YB=1024 ZB
1 BB=1024 YB
1 NB=1024 BB
1 DB=1024 NB

Hadoop框架是用JAVA编写的，核心是HDFS（Hadoop分布式文件系统，提供存储）和MapReduce(提供计算）。