Pyspark G1垃圾收集器
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Pyspark G1垃圾收集器相关的知识，希望对你有一定的参考价值。
我的pyspark出错，说GC收集器内存不足。我读了一篇关于G1垃圾收集器的文章，所以我想尝试一下。如何在pyspark应用程序中设置它？我找不到任何指示......
谢谢！
答案
这里要记住的要点是垃圾收集的成本与Java对象的数量成正比。这是开始...通过spark see this和see this来优化它以发现要使用的主要conf参数。
其余的是经验......
以上是关于Pyspark G1垃圾收集器的主要内容，如果未能解决你的问题，请参考以下文章