最全的大数据面试系列Spark面试题大全
Posted 大数据小禅
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最全的大数据面试系列Spark面试题大全相关的知识，希望对你有一定的参考价值。
🚀 作者 ：“大数据小禅”
🚀 **专栏简介 **：本专栏主要分享收集的大数据相关的面试题，涉及到Hadoop，Spark，Flink，Zookeeper，Flume，Kafka，Hive，Hbase等大数据相关技术。大数据面试专栏地址。
🚀 **个人主页 **：大数据小禅
🚀 **粉丝福利 **：加入小禅的大数据社群
🚀 欢迎小伙伴们 点赞👍、收藏⭐、留言💬
面试题目录
1. spark 如何保证宕机迅速恢复?
适当增加 spark standby master
编写 shell 脚本，定期检测 master 状态，出现宕机后对 master 进行重启操作
2.Spark streaming 以及基本工作原理？
Spark streaming 是 spark core API 的一种扩展，可以用于进行大规模、高吞吐量、容错的实时数据流的处理。它支持从多种数据源读取数据，比如 Kafka、Flume、Twitter 和 TCP Socket，并且能够使用算子比如 map、reduce、join 和 window 等来处理数据，处理后的数据可以保存到文件系统、数据库等存储中。Spark streaming 内部的基本工作原理是：接受实时输入数据流，然后将数据拆分batch，比如每收集一秒的数据封装成一个 batch，然后将每个 batch 交给 spark 的计算引擎进行处理，最后会生产处一个结果数据流，其中的数据也是一个一个的batch 组成的。
3.spark 有哪些组件？
master：管理集群和节点，不参与计算。worker：计算节点，进程本身不参与计算，和 master 汇报。Driver：运行程序的 main 方法，创建 spark context 对象。spark context：控制整个 application 的生命周期，包括 dagsheduler 和 task scheduler等组件。client：用户提交程序的入口。
4.spark 工作机制？
用户在 client 端提交作业后，会由 Driver 运行 main 方法并创建 spark context 上下文。执行 add 算子，形成 dag 图输入 dagscheduler，按照 add 之间的依赖关系划分stage 输入 task scheduler。task scheduler 会将 stage 划分为 task set 分发到各个节点的 executor 中执行。
5.Spark 主备切换机制原理知道吗？
Master 实际上可以配置两个，Spark 原生的 standalone 模式是支持 Master 主备切换的。当 Active Master 节点挂掉以后，我们可以将 Standby Master 切换为ActiveMaster。Spark Master 主备切换可以基于两种机制，一种是基于文件系统的，一种是基于ZooKeeper 的。基于文件系统的主备切换机制，需要在 Active Master 挂掉之后手动切换到 StandbyMaster 上；而基于 Zookeeper 的主备切换机制，可以实现自动切换 Master。
6.spark 的有几种部署模式，每种模式特点？
1）本地模式
Spark 不一定非要跑在 hadoop 集群，可以在本地，起多个线程的方式来指定。将 Spark 应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类local：只启动一个 executorlocal[k]:启动 k 个 executorlocal[*]：启动跟 cpu 数目相同的 executor
2）standalone 模式
分布式部署集群，自带完整的服务，资源管理和任务监控是 Spark 自己监控，这个模式也是其他模式的基础。
3）Spark on yarn 模式
分布式部署集群，资源和任务监控交给 yarn 管理，但是目前仅支持粗粒度资源分配方式，包含 cluster 和 client 运行模式，cluster 适合生产，driver 运行在集群子节点，具有容错功能，client 适合调试，dirver 运行在客户端。
4）Spark On Mesos 模式。
官方推荐这种模式（当然，原因之一是血缘关系）。正是由于 Spark 开发之初就考虑到支持 Mesos，因此，目前而言，Spark 运行在 Mesos 上会比运行在 YARN 上更加灵活，更加自然。用户可选择两种调度模式之一运行自己的
应用程序：
1）粗粒度模式（Coarse-grained Mode）：每个应用程序的运行环境由一个 Dirver 和若干个 Executor 组成，其中，每个 Executor 占用若干资源，内部可运行多个 Task（对应多少个“slot”）。应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过程中要一直占用这些资源，即使不用，最后程序运行结束后，回收这些资源。
2）细粒度模式（Fine-grained Mode）：鉴于粗粒度模式会造成大量资源浪费，Spark On Mesos 还提供了另外一种调度模式：细粒度模式，这种模式类似于现在的云计算，思想是按需分配。
7.Spark 为什么比 mapreduce快？
1）基于内存计算，减少低效的磁盘交互；
2）高效的调度算法，基于 DAG；
3）容错机制 Linage，精华部分就是 DAG 和Lingae
8.简单说一下 hadoop 和 spark 的 shuffle 相同和差异？
1）从 high-level 的角度来看，两者并没有大的差别。 都是将 mapper（Spark 里是 ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的ShuffleMapTask，也可能是 ResultTask）。Reducer 以内存作缓冲区，边shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce()（Spark 里可能是后续的一系列操作）。
2）从 low-level 的角度来看，两者差别不小。 Hadoop MapReduce 是sort-based，进入 combine() 和 reduce() 的 records 必须先 sort。这样的好处在于 combine/reduce() 可以处理大规模的数据，因为其输入数据可以通过外排得到（mapper 对每段数据先做排序，reducer 的 shuffle 对排好序的每段数据做归并）。目前的 Spark 默认选择的是 hash-based，通常使用HashMap 来对 shuffle 来的数据进行 aggregate，不会对数据进行提前排序。如果用户需要经过排序的数据，那么需要自己调用类似 sortByKey() 的操作；如果你是 Spark 1.1 的用户，可以将 spark.shuffle.manager 设置为 sort，则会对数据进行排序。在 Spark 1.2 中，sort 将作为默认的 Shuffle 实现。
3）从实现角度来看，两者也有不少差别。 Hadoop MapReduce 将处理流程划分出明显的几个阶段：map(), spill, merge, shuffle, sort, reduce() 等。每个阶段各司其职，可以按照过程式的编程思想来逐一实现每个阶段的功能。在Spark 中，没有这样功能明确的阶段，只有不同的 stage 和一系列的transformation()，所以 spill, merge, aggregate 等操作需要蕴含在transformation() 中。如果我们将 map 端划分数据、持久化数据的过程称为 shuffle write，而将reducer 读入数据、aggregate 数据的过程称为 shuffle read。那么在 Spark中，问题就变为怎么在 job 的逻辑或者物理执行图中加入 shuffle write 和shuffle read 的处理逻辑？以及两个处理逻辑应该怎么高效实现？Shuffle write 由于不要求数据有序，shuffle write 的任务很简单：将数据partition 好，并持久化。之所以要持久化，一方面是要减少内存存储空间压力，另一方面也是为了 fault-tolerance。
9.spark 工作机制
① 构建 Application 的运行环境，Driver 创建一个 SparkContext
② SparkContext 向资源管理器（Standalone、Mesos、Yarn）申请Executor 资源，资源管理器启动 StandaloneExecutorbackend（Executor）
③ Executor 向 SparkContext 申请 Task
④ SparkContext 将应用程序分发给Executor
⑤ SparkContext 就建成 DAG 图，DAGScheduler 将 DAG 图解析成 Stage，每个 Stage 有多个 task，形成 taskset 发送给 task Scheduler， 由 task Scheduler 将 Task 发送给 Executor 运行
⑥ Task 在 Executor 上运行，运行完释放所有资源
10.spark 的优化怎么做？
spark 调优比较复杂，但是大体可以分为三个方面来进行
1）平台层面的调优：防止不必要的 jar 包分发，提高数据的本地性，选择高效的存储格式如parquet
2）应用程序层面的调优：过滤操作符的优化降低过多小任务，降低单条记录的资源开销，处理数据倾斜，复用 RDD 进行缓存，作业并行化执行等等
3）JVM 层面的调优：设置合适的资源量，设置合理的 JVM，启用高效的序列化方法如 kyro，增大 off head 内存等等
11.数据本地性是在哪个环节确定的？
具体的 task 运行在那他机器上，dag 划分 stage 的时候确定的
12.RDD 的弹性表现在哪几点？
1）自动的进行内存和磁盘的存储切换； 2）基于 Lineage 的高效容错；
3）task 如果失败会自动进行特定次数的重试；
4）stage 如果失败会自动进行特定次数的重试，而且只会计算失败的分片；
5）checkpoint 和persist，数据计算之后持久化缓存；
6）数据调度弹性，DAG TASK 调度和资源无关；
7）数据分片的高度弹性。
13.RDD 有哪些缺陷？
1）不支持细粒度的写和更新操作（如网络爬虫），spark 写数据是粗粒度的。所谓粗粒度，就是批量写入数据，为了提高效率。但是读数据是细粒度的也就是说可以一条条的读。
2）不支持增量迭代计算，Flink 支持
总结
Spark的面试题总共分成两个篇章，内容较多，小伙伴们可以选择自己需要的部分进行查看。更多的大数据资料以及本文安装包可以通过下方公众号获取哦，加入小禅的🏘️大数据技术社区一起交流学习，感谢支持！💪
以上是关于最全的大数据面试系列Spark面试题大全的主要内容，如果未能解决你的问题，请参考以下文章