Spark修炼之道——Spark学习路线课程大纲

Posted 2020-10-01 clnchanpin

课程内容

1. Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲）
2. Spark修炼之道（进阶篇）——Spark入门到精通（30讲）
3. Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲）
4. Spark修炼之道（高级篇）——Spark源代码解析（50讲）

部分内容会在实际编写时动态调整。或补充、或删除。

Spark修炼之道（基础篇）——Linux大数据开发基础（15讲）、

1. Linux大数据开发基础——第一节：Ubuntu Linux安装与介绍
2. Linux大数据开发基础——第二节：Linux文件系统、文件夹（一）
3. Linux大数据开发基础——第三节：Linux文件系统、文件夹（二）
4. Linux大数据开发基础——第四节：Linux用户、组与权限管理
5. Linux大数据开发基础——第五节：软件包管理
6. Linux大数据开发基础——第六节：进程管理
7. Linux大数据开发基础——第七节：网络管理
8. Linux大数据开发基础——第八节：SSH原理与应用
9. Linux大数据开发基础——第九节：vi编程器（一）
10. Linux大数据开发基础——第十节：vi编程器（二）
11. Linux大数据开发基础——第十一节：shell编程基础（一）
12. Linux大数据开发基础——第十二节：shell编程基础（二）
13. Linux大数据开发基础——第十三节：shell编程基础（三）
14. Linux大数据开发基础——第十四节：shell编程基础（四）
15. Linux大数据开发基础——第十五节：Java开发环境、mysql及Tomcat等的安装与使用

Spark修炼之道（基础篇）——Akka并发编程（国内首发，Scala版）

1. Akka并发编程——第一节：Akka简单介绍、开发环境部署及第一个Akka应用程序
2. Akka并发编程——第二节：Actors、Typed Actors、ActorSystem
3. Akka并发编程——第三节：Akka 容错机制
4. Akka并发编程——第四节：FUTURES AND AGENTS
5. Akka并发编程——第五节：Akka 消息通道
6. Akka并发编程——第六节：Akka 事务
7. Akka并发编程——第七节：Routing、IO等
8. Akka并发编程——第八节：分布式环境下Akka应用程序开发

Spark修炼之道（进阶篇）——Spark入门到精通（30讲）

1. Spark入门到精通（入门）——第一节：Spark简单介绍，主要介绍Spark生态系统、架构及容错机制
2. Spark入门到精通——第二节：开发环境部署（一），Linux系统安装、Hadoop集群搭建
3. Spark入门到精通——第三节：开发环境部署（二），Hadoop集群搭建、Spark集群部署及測试
4. Spark入门到精通——第四节：开发环境部署（三），Intellij IDEA Spark开发环境搭建并开发第一个Spark应用程序
5. Spark入门到精通——第五节：Spark交互式命令行,怎样使用Spark交互式命令行、理解Spark任务提交流程、运行流程。假设通过WebUI查看不论什么运行状态
6. Spark入门到精通——第六节：RDD弹性分布式数据集，介绍RDD实现原理。理解什么是Action和Transformation。理解窄依赖与宽依赖
7. Spark入门到精通——第七节：RDD 经常使用函数（一）
8. Spark入门到精通——第八节：RDD 经常使用函数（二）
9. Spark入门到精通——第九节：RDD 经常使用函数（三）
10. Spark入门到精通——第十节：Spark Job运行原理分析、shuffle操作解析
11. Spark入门到精通——第十一节：Spark广播变量与累加器、Cache与checkpoint问题
12. Spark入门到精通——第十二节：Spark多语言编程
13. Spark入门到精通（Spark SQL）——第十三节： Spark SQL组件、架构
14. Spark入门到精通（Spark SQL）——第十四节： DataFrame、SparkSQL运行原理
15. Spark入门到精通（Spark SQL）——第十五节： Spark SQL基础应用
16. Spark入门到精通（Spark SQL）——第十六节： 复杂应用案例实战
17. Spark入门到精通（Spark SQL）——第十七节： SparkSQL性能调优
18. Spark入门到精通（Spark Streaming）——第十八节： Spark Streaming运行原理、DStream
19. Spark入门到精通（Spark Streaming）——第十九节： DStream 经常使用函数（一）
20. Spark入门到精通（Spark Streaming）——第二十节： DStream 经常使用函数（二）
21. Spark入门到精通（Spark Streaming）——第二十一节： 应用案例实战
22. Spark入门到精通（Spark MLlib）——第二十二节： Machine Learning On Spark简单介绍、经常使用数据结构
23. Spark入门到精通（Spark MLlib）——第二十三节：逻辑回归算法实战
24. Spark入门到精通（Spark MLlib）——第二十四节：K均值算法实战
25. Spark入门到精通（Spark MLlib）——第二十五节：协同过滤推荐算法实战
26. Spark入门到精通（Spark MLlib）——第二十六节：卷积神经网络CNN算法实战
27. Spark入门到精通（Spark MLlib）——第二十七节：高级文本处理实战
28. Spark入门到精通（Spark MLlib）——第二十八节：基于Spark Streaming的实时机器学习实战
29. Spark入门到精通（Spark Graphx）——第二十九节：Spark图计算简单介绍、Spark Graphx架构与原理
30. Spark入门到精通（Spark Graphx）——第三十节： Graphx经常使用数据结构（比如Vertices等）
31. Spark入门到精通（Spark Graphx）——第三十一节： Graphx基本操作实战
32. Spark入门到精通（Spark Graphx）——第三十二节： PageRank算法实战
33. Spark入门到精通（Spark R） ——第三十三节：Spark R 与结束语

Spark修炼之道（实战篇）——Spark应用开发实战篇（15讲）

1. Spark应用开发实战——第一节：Spark实时推荐系统开发（一）
2. Spark应用开发实战——第二节：Spark实时推荐系统开发（二）
3. Spark应用开发实战——第三节：Spark实时推荐系统开发（三）
4. Spark应用开发实战——第四节：Spark实时推荐系统开发（四）
5. Spark应用开发实战——第五节：Spark实时推荐系统开发（五）
6. Spark应用开发实战——第六节：Spark SQL站点日志分析（一）
7. Spark应用开发实战——第七节：Spark SQL站点日志分析（二）
8. Spark应用开发实战——第八节：Spark SQL站点日志分析（三）
9. Spark应用开发实战——第九节：Spark SQL站点日志分析（四）
10. Spark应用开发实战——第十节：Spark SQL站点日志分析（五）
11. Spark应用开发实战——第十一节：金融数据分析案例（一）
12. Spark应用开发实战——第十二节：金融数据分析案例（二）
13. Spark应用开发实战——第十三节：金融数据分析案例（三）
14. Spark应用开发实战——第十四节：金融数据分析案例（四）
15. Spark应用开发实战——第十五节：金融数据分析案例（五）

Spark修炼之道（高级篇）——Spark源代码解析（50讲）

1. Spark源代码解析——Spark源代码分析环境搭建、源代码分析技巧
2. Spark源代码解析——RDD源代码分析
3. Spark源代码解析——SparkContext源代码分析
4. Spark源代码解析——TaskScheduler源代码分析
5. Spark源代码解析——DAGScheduler源代码分析
6. Spark源代码解析——Spark Standalone调度器源代码分析
7. Spark源代码解析——Worker、Executor源代码分析
8. Spark源代码解析——MLib 源代码分析
9. Spark源代码解析——DataFrame源代码分析
10. Spark源代码解析——DStream源代码解析
11. ………………………………………………………