JVM 三大性能调优参数-Xms -Xmx -Xss

Posted 2023-03-20

参考技术A -Xss规定了每个线程堆栈的大小。一般情况下256K是足够了。影响了此进程中并发线程数大小。

-Xms初始的Heap的大小。

-Xmx最大Heap的大小。

在很多情况下，-Xms和-Xmx设置成一样的。这么设置，是因为当Heap不够用时，会发生内存抖动，影响程序运行稳定性。
本文链接： https://blog.csdn.net/u013063153/article/details/75578161

Hive调优参数篇

参考技术A 工作中常用的 hive 参数调优，整理如下。
原则：
• 最少数据
• 最少字段
• 最少Job数
• 最少读取次数
• 避免数据倾斜
• 整体最优而不是局部最优
• JVM 内存

这里需要结合集群的资源来合理的设置切片大小。

最小数据
最小数据原则：（map阶段，shuffle阶段，reduce阶段）

set hive.optimize.skewjoin=true;

磁盘的频繁IO也是一种不小的消耗，所以可以通过配置一些参数来减少磁盘的IO