默认情况下，spark 中的缓存内存限制是多少？
Posted
技术标签:
【中文标题】默认情况下，spark 中的缓存内存限制是多少？【英文标题】：What is the Cache memory limit in spark by default? 【发布时间】：2017-01-06 04:23:39 【问题描述】：spark 中缓存的最大限制是多少。一次可以容纳多少数据？
【问题讨论】：
【参考方案1】：见this。默认为0.6 x (JVM heap space - 300MB)。
【讨论】：
【参考方案2】：我可能错了，但据我了解，这里是计算
什么是执行器内存。假设它是 1 GB。
那么堆大小是 0.6 其中 600 MB
那么 50% 的堆大小是缓存。即 300 MB。
http://spark.apache.org/docs/latest/tuning.html#memory-management-overview 在此，他们必须假设执行程序内存为 500 MB。实际上，对于本地执行程序内存默认大小是 500 MB。如果它的执行器内存是 500 MB，那么只有 150 MB 分配给缓存
【讨论】：
【参考方案3】：它实际上完全取决于执行程序的内存。 Spark 将在内存中占用尽可能多的 RDD，其余的将在每次需要时即时获取和重新计算。它是完全可配置的，你可以检查它here
【讨论】：
以上是关于默认情况下，spark 中的缓存内存限制是多少？的主要内容，如果未能解决你的问题，请参考以下文章
GENERATED ALWAYS | 的限制是多少？默认情况下 作为 PostgreSQL 中的身份？
Tachyon 默认情况下是不是由 Apache Spark 中的 RDD 实现？