清理火花缓存数据

Posted 2023-04-15

【中文标题】清理火花缓存数据

【英文标题】：Clean spark cache data

【发布时间】：2016-08-01 08:44:45

【问题描述】：

我在整个应用程序中的 DataFrame 上使用了 cache() 和 persist()。我想知道我是否需要在我缓存的每个数据帧上调用 unpersist() 以释放程序结束时占用的所有内存和磁盘？ spark会自动清理那些职业吗？ 谢谢

【参考方案1】：

一旦 spark 上下文停止，内存将自行释放。 如果你想在停止上下文之前释放内存，那么你必须调用unpersist。

【讨论】：

spark 上下文结束时，缓存在磁盘上的数据会像内存中的数据一样被删除。我说的对吗？

是的，一旦 spark 上下文停止，磁盘中的数据就会被删除。