Spark 常用参数及调优

Posted 见贤思小齐，知足常乐呵

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 常用参数及调优相关的知识，希望对你有一定的参考价值。

spark streaming 调优的几个角度：

  • 高效地利用集群资源减少批数据的处理时间

  • 设置正确的批容量（size），使数据的处理速度能够赶上数据的接收速度

  • 内存调优

 

以上是关于Spark 常用参数及调优的主要内容，如果未能解决你的问题，请参考以下文章

Spark常见数据倾斜情况及调优方案

二.Hive问题排查及调优思路

# JVM 参数及调优

第13课：Spark 分布式模型训练及调优（原理）

第14课：Spark 分布式模型训练及调优（实战）

SQL调优简介及调优方式