Hadoop生态圈技术光速入门（最短路径算法MR实现社交好友推荐算法）

Posted 2020-10-11

Hadoop生态圈技术光速入门（最短路径算法MR实现、MR二次排序、PageRank、社交好友推荐算法）
分享网盘下载——https://pan.baidu.com/s/1i5mZhiP 密码: vv4x

本课程从基础的环境搭建到更深入的知识学习都会有一个比较好的讲解。帮助学员快速上手hadoop生态圈的大数据处理框架的使用，使用hadoop生态圈进行一些模块化、项目功能化的开发，主要包括安装部署hadoop、hive、hbase、hue、oozie、flume等生态圈相关软件环境的搭建，并且在已搭建好的环境上进行相关知识点的讲解和功能的开发。项目/模块主要涉及到使用MR开发相关实际业务功能，包括最短路径的计算、社交好友推荐算法实现、分布式锁的实现等，这些模块可以在实际的生成环境中使用到，可以很简单的将这些模块的代码直接集成到相关实际生产环境代码中。  

一、hadoop：
第一讲：Hadoop起源、体系结构以及生态圈介绍
第二讲：Hadoop安装
第三讲：Windows平台下Eclipse环境搭建
第四讲：HDFS体系结构
第五讲：HDFS SHELL API介绍
第六讲：HDFS Java API介绍
第七讲：Hadoop 2.x HDFS新特性
第八讲：YARN体系结构
第九讲：MR编程模型介绍
第十讲：Map-Reduce编程实例：WordCount
第十一讲：MR数据类型讲解
第十二讲：MR输入格式讲解
第十三讲：MR输出格式讲解
第十四讲：案例：自定义输入、输出格式使用
第十五讲：MR Shuffle组件讲解
第十六讲：案例：二次排序
第十七讲：组合MR任务介绍
第十八讲：MR任务多数据源连接介绍
第十九讲：案例：倒排索引
 
二、zookeeper：
第二十讲：Zookeeper起源、体系结构介绍
第二十一讲：Zookeeper安装
第二十二讲：Zookeeper Shell命令
第二十三讲：Zookeeper Java API
第二十四讲：Zookeeper案例：分布式环境中实现共享锁
 
三、hbase：
第二十五讲：HBase起源、体系结构以及数据模型介绍
第二十六讲：HBase安装
第二十七讲：HBase Shell命令
第二十八讲：HBase Java API
第二十九讲：HBase协处理器介绍
第三十讲：HBase和MapReduce整合
第三十一讲：HBase案例：二级索引的创建
 
四、hive：
第三十二讲：Hive起源、体系结构介绍
第三十三讲：Hive安装
第三十四讲：Hive Shell命令上
第三十五讲：Hive Shell命令下
第三十六讲：Hive函数
 
五、hue：
第三十七讲：Hue简介
 
六、Oozie：
第三十八讲：Oozie简介
第三十九讲：Oozie安装
第四十讲：Oozie案例
第四十一讲：Oozie Java客户端
第四十二讲：Oozie Hue整合
 
七、Flume：
第四十三讲：Flume介绍以及安装
第四十四讲：Flume案例介绍上
第四十五讲：Flume案例介绍下
第四十六讲：Flume自定义Source
第四十七讲：Flume自定义Interceptor
 
八、Sqoop：
第四十八讲：Sqoop介绍与安装
第四十九讲：Sqoop案例介绍上
第五十讲：Sqoop案例介绍下
 
九、Kafka：
第五十一讲：Kafka介绍与安装
第五十二讲：Kafka案例
 
十、MR扩展：
第五十三讲：MapReduce案例：最短路径算法
第五十四讲：MapReduce案例：PageRank算法
第五十五讲：MapReduce案例：社交好友推荐算法
第五十六讲 Flume taildir source
第五十七讲 Flume HBase集成