01_Hadoop学习笔记内容说明

Posted 2020-06-18 YouxiBug

Hadoop学习笔记内容说明_00

1、  观看云帆大数据梦琪老师的《企业级 Hadoop 1.x 应用开发基础课程》2014年4月左右版本。

2、  博客是在梦琪老师的随堂笔记上改动的，方便的是自己以后回顾学习，也或许能给需要改方面帮助的同行提供些许帮助，在此非常感谢梦琪老师。

3、  本系列是在CentOS6.4+hadoop1.2.1上实验通过的。

4、  由于本人刚刚接触，对Linux也只是初步了解，实验过程中遇到比较奇葩的问题，也在此博客写出。

5、  云帆大数据官网公布了一些公开的视频资源，大家可以前往学习。

 

第一个专题

Linux 系统环境搭建和基本命令使用：上课使用虚拟机，CentOS  6.4  64 位操作系统，基本命令要 熟悉，一次课时。

第二至五个专题（Hadoop 1.x  系列的核心，基础）

Hadoop 本地（单机）模式和伪分布式模式安装：Hadoop  1.x  理论知识，架构体系，安装模式， 认识 HDFS  文件系统，运行 MapReduce 程序 WordCount，如何查看 Hadoop  源码，Hadoop  1.x  包的 结构等等，三次课时。

HDFS 的体系结构、Shell 操作、Java  API 使用和应用案例：深入讲解 HDFS  相关内容，包括 HDFS 架构与设计，优缺点，如何存储文件；如何访问 HDFS  文件系统，HDFS Shell  命令行、JAVA API 方式 方式；讲解一些企业中的小案例，比如小文件存储处理、类似百度网盘的分析（使用 HDFS）等等， 三到四次课时。

MapReduce 入门、框架原理、深入学习和相关 MR 面试题：深入讲解 MapReduce，架构体系，执 行流程，MapReduce 执行细节，讲解 MapReduce 编写（WordCount）：数据类型、输入输出格式、 Combine、Partitioner、Sort 和 Group，插入企业中 MapReduce  简单使用案例，七到八次课时。

Hadoop 集群安装管理、NameNode 安全模式和 Hadoop  1.x 串讲复习：属于 Hadoop  运维工程师 的课程，集群的安装部署（建立在伪分布式安装基础上）、NN SafeMode、Hadoop  管理员命令的使用。 添加节点（机器）、卸载节点（机器），监控 Hadoop  集群，三次课时。

第六至十个专题（Hadoop 1.x 生态系统，HBase 和 Hive）

HBase 入门、存储原理、Shell  命令、Java  API 操作和应用案例：分布式数据库（NoSql 数据库），

类似于 Oracle 数据库，存储几十亿行数据，上万列数据。准实时查询，与 MR 很好的集成，进行计算 处理数据。体系架构、访问（Shell  和 API）、MapReduce、管理，深入的讲解，四次课时左右。

Zookeeper 集群安装、回顾 HBase 和 mysql  5.1 安装与基本使用：主要为 HBase 和 Hive 基础理论 讲解。Zookeeper 协调 HBase，MySql 作为 Hive 元数据管理。两次课时。

Hive 安装、配置元数据、HiveQL 语句学习和应用案例

串讲复习 HDFS、MapReduce、HBase、Hive 和 Sqoop 安装与数据导入导出：整体复习，串讲 Hadoop、 HBase 和 Hive，在企业中如何使用，如何考虑，结合三者进行考虑。Sqoop 用于数据的导入导出，将 关系型数据库中的数据与 HBase 和 Hive 之间的相互导入导出。三次课时。

答疑总结、任务调度 Azkaban 安装和使用：进行整个 Hadoop 1.x 课程的答疑，与项目的讲解， 讲 解任务调度框架，如何管理 Job、管理 Hive。

第十一个专题

Hadoop 2.2.0 介绍、集群安装和商业版 Hadoop 介绍：Hadoop 2.X 介绍，Hadoop 2.4.0  为基础讲解， 理论讲解：与 Hadoop  1.x  不同；优点在哪里。安装：分布式安装，HDFS 和 MapReduce  程序测试。 介绍商业版的 Hadoop:对 Apache  开源 Hadoop 版本的包括，CDH  Hortonworrsk，Interl，华为，IBM； 两次课时。

第十二个专题

Cloudera  Hadoop 介绍、CM4.8 安装和部署 CDH4.5：商业版 hadoop  CDH 的介绍，以及管理工具

CM 的安装，两次课时。