pyspark 给出以下错误无法在 /tmp 中创建本地目录
Posted
技术标签:
【中文标题】pyspark 给出以下错误无法在 /tmp 中创建本地目录【英文标题】：pyspark gives following error Failed to create local dir in /tmp 【发布时间】：2018-05-30 08:59:58 【问题描述】：我是 spark 新手，正在尝试 pyspark 和 spark-shell 在这两种情况下，我都会收到此错误 pyspark 给出以下错误
错误 storage.DiskBlockManager：无法在 /tmp 中创建本地目录。忽略此目录。 java.io.IOException: 尝试 10 次后无法创建临时目录（在 /tmp 下）！
谁能帮帮我。
【问题讨论】：
你检查文件夹的权限了吗？ /tmp 文件夹中是否有足够的空间？ 实际上permssions 很好，空间看起来也不错，比如42% 免费，所以我很困惑。有什么方法可以更改/重定向工作文件夹路径 试试 spark.local.dir conf :export SPARK_JAVA_OPTS="-Dspark.local.dir=/newFolder..."
这能回答你的问题吗？ Spark - java IOException :Failed to create local dir in /tmp/blockmgr*
【参考方案1】：
如果你的文件夹有足够的空间，试试
chmod ugo+rwx /tmp
我的 tmp 文件夹不知何故被删除了，在创建了一个新文件夹后我修复了它
【讨论】：
以上是关于pyspark 给出以下错误无法在 /tmp 中创建本地目录的主要内容，如果未能解决你的问题，请参考以下文章
pyspark 线性回归模型给出错误此列名称必须是数字类型，但实际上是字符串类型