大数据 | 适合小白入门的Spark基础及源码分析视频教程

Posted 2021-04-05 大司码

视频以Java语言为蓝本，深入浅出的讲解scala语言的语法和特征，并应用scala语言，讲解spark生态系统下的大数据开发技术。

下面是大司码为大家整理的Spark基础及源码分析视频的教程，希望能帮助到正在学习大数据的同学！

1 

视频简介

1.本视频面向拥有Java语言基础的同学，以Java语言为蓝本，深入浅出的讲解scala语言的语法和特征，并应用scala语言，讲解spark生态系统下的大数据开发技术。

2.视频讲解与实例练习相结合，通过看视频也能保证知识得到充分的实践，知识掌握更牢靠。

3.语言部分由浅入深，在掌握函数式编程和面向对象的基础上能够掌握高阶函数编程（作为值的函数、柯里化、隐式值、隐式转换），使得学生可以胜任项目中的开发之外，还可以读懂Spark源码，为以后研究Spark架构和自己编写架构奠定扎实的基础。

4.在综合案例实现过程中，通过使用Akka通信模型实现RPC远程通信框架，这样既可以深入了解Spark的通信机制，又提升了Scala语言的开发技能。

 5.通过学习scala语言部分的课程，学生能够具备一名中级scala开发工程师水平。

6.本视频，系统全面的讲解Spark环境的搭建以及与Hadoop生态圈的衔接。

7.在Scala语言的基础上，深入理解Spark常用算子和高级算子的使用场景，使得学生在以后的开发过程中能够灵活运用Spark核心技术。

 8.讲解Spark生态，开发与性能调优双管齐下，分享企业中实战技能，学生学习更全面，更实际。

9.深入讲解Spark源码和Spark框架，从内到外，挖掘Spark的五脏六腑，做到深入，再深入。学生可以从原理，从基石上了解Spark生态的方方面面。

2 

课程目录

一：Scala语言环境安装、Scala的基本语法

1-1 认识Scala 

1-2 安装开发环境 

1-3 Scala Shell、用IDEA创建Maven项目 

1-4 配置Maven本地仓库、导入切换项目等其它配置 

1-5 变量的声明

1-6 Scala的7种值类型和条件表达式

1-7 for循环 

1-8 方法和函数的声明以及方法转换成函数 

1-9 数组 

1-10 映射 

1-11 元组 

1-12 集合之Seq 

1-13 集合之Set 

1-14 集合之Map 

二：常用方法练习

2-1 lazy关键字 

2-2 函数式编程练习之常用方法 

2-3 函数式编程之reduce 

2-4 函数式编程之fold 

2-5 函数式编程之aggregate 

2-6 函数式编程之交并差集 

2-7 Scala实现WordCount

三：面向对象、模式匹配

3-1 创建类、属性 

3-2 构造器、辅助构造器 

3-3 单例对象 

3-4 伴生对象 

3-5 apply和unapply方法

3-6 private关键字 

3-7 特质、抽象类、继承、重写、实现等 

3-8 模式匹配之匹配字符串 

3-9 模式匹配之匹配类型 

3-10 模式匹配之匹配数组、元组、集合 

3-11 模式匹配之样例类 

3-12 模式匹配之偏函数

四：Actor、柯里化、隐式转换

4-1 作为值的函数 

4-2 柯里化概念及声明方式 

4-3 柯里化练习 

4-4 隐式转换和隐式参数 

4-5 隐式转换练习1 

4-6 隐式转换练习2 

4-7 泛型

4-8 UpperBound 

4-9 ViewBound 

4-10 ContextBound 

五：泛型、Akka

5-1 Actor概念 

5-2 Actor实例之创建Actor 

5-3 Actor实例之消息的接收与发送（异步没有返回值） 

5-4 Actor实例之消息的接收与发送（同步有返回值） 

5-5 Actor实例之消息的接收与发送（异步有返回值） 

5-6 Actor实例之并行编程思想实现单词计数

5-7 Akka简介

5-8 Akka案例需求分析

5-9 Akka案例代码分析 

六：Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务

6-1 Spark简介

6-2 Spark集群搭建、启动 

6-3 Spark Shell.启动和提交任务 

6-4 Spark WordCount 

6-5 上传并执行任务

七：RDD的基本概念、常用算子练习

7-1 RDD的概念 

7-2 生成RDD的两种方式

7-3 两种类型的算子：transformation和action 

7-4 常用算子练习1 

7-5 常用算子练习2 

八：案例练习

8-1 案例需求-求用户在某基站停留的时间-1 

8-2 案例实现-求用户在某基站停留的时间-2

8-3 案例实现-求用户访问学科的子网页top3 

8-4 案例实现-求用户访问学科的子网页top3-chache、自定义分区器 

九：Spark集群启动流程和任务提交流程、案例练习

9-1 Spark集群启动流程 

9-2 Spark任务提交流程 

9-3 WordCount中创建了那些RDD 

9-4 案例分析实现-按照IP统计区域访问量 

十：RDD的依赖关系、Stage划分、任务的生成、自定义排序

10-1 RDD之间的依赖关系 

10-2 DAG的生成和stage的划分 

10-3 WebUI观察stage划分和任务的生成 

10-4 自定义二次排序 

十一：Checkpoint、SparkSQL、Hive-On-Spark

11-1 checkpoint 

11-2 SparkSQL介绍 

11-3 创建DataFrame 

11-4 DataFrame常用操作-DSL风格语法 

11-5 DataFrame常用操作-SQL风格语法

11-6 通过反射推断Schema 

11-7 通过StructType直接指定Schema 

11-8 Hive-On-Spark 

十二：SparkStreaming、窗口操作、Spark-On-Yarn

12-1 SparkStreaming简介 

12-2 实例分析：SparkStreaming获取Netcat产生的数据进行实时分析 

12-3 SparkStreaming实现按批次累加 

12-4 窗口函数概念及使用场景 

12-5 窗口函数实现WordCount 

12-6 Spark-On-Yarn 

12-7 补充：SparkStreaming依赖 

十三：Spark启动流程、Stage划分、任务生成、任务提交流程

13-1 关于查看源码的一些介绍 

13-2 导入源码 

13-3 集群启动流程-Master类 

13-4 集群启动流程-Worker类 

13-5 SparkSubmit提交任务 

13-6 SparkContext 

13-7 创建DriverActor和ClientActor的过程 

13-8 ClientActor向Master注册任务信息过程 

13-9 任务调度的两种方式及Master通知Worker启动Executor的过程 

13-10 Executor向DriverActor反向注册的过程 

13-11 RDD生成和Stage划分 

13-12 生成任务并提交 

13-13 Task任务执行流程 

13-14 总结-任务生成及提交流程

3 

视频展示

▼

▼

▼

▼

4  

领取方式

微信扫码关注

回复“801”领取

免

费

资

料

版权声明：

转载文章和图片均来自网络，版权归作者本人所有，推送文章除非无法确认，我们都会注明作者和来源。如果出处有误或侵犯到原作者权益，请与我们联系删除或授权事宜。