大数据从0到一(Hadoop)

Posted 2023-02-15 粪乧

大数据挑战与应对措施

| 系统瓶颈    | Google大数据技术  |
| 储存容量    |    BigTable     |
| 读写速度    |     GFS         |
| 计算效率    |    MapReduce    |

如何学习大数据

1. 在官方网站进行学习
2. 在官方网站学习英文文档进行学习
3. 项目实战对知识点进行巩固和融会贯通
4. 社区活动 MeetUp INFOQ

初始Hadoop

1. Hadoop http://hadoop.apache.org/ 分布式存储、计算 可拓展 稳定的开源框架
2. 可以做 搭建大型数据仓库 PB级数据额存储.处理.分析.统计等业务 — 搜索 日志分析 商业智能 数据挖掘

3. Hadoop 核心组件之分布式文件系统HDFS
   源自于Google 的GFS 论文 论文发布于2003年10月
   HDFS是GFS的克隆版
   HDFS是特点扩展性&容错性&海量数据存储
   将文件切分指定大小的数据块并以多副本的储存在多个机器上
   数据切分 多副本 容错是对用户不可见的 操作的对象依然是文件

4. YARN
   负责整个集群资源的管理和调度 内存 cpu 进行控制
   扩展性 容错性 多框架资源统一管理

5. MapReduce
   拓展性&容错性&海量数据离线处理
6. Hadoop生态圈
   
   开源 社区 活跃
   囊括大数据处理的方方面面
   成熟生态圈
7. 常用版本与选型
   Apache Hadoop 发行版
   CDH 升级方便 sparck合作 配置简单 文档全面
   HDP
8. 企业利益最大化
   用户画像 用户信息推荐 广告 等

拥抱美丽的大数据吧!