Pyspark Mac NativeCodeLoader：无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类
Posted
技术标签:
【中文标题】Pyspark Mac NativeCodeLoader：无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类【英文标题】：Pyspark Mac NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 【发布时间】：2017-04-14 01:23:07 【问题描述】：这会阻止 PySpark 在 Jupyter Notebook 中正常运行。我知道本机 hadoop 库仅在 *nix 平台上受支持。该库不适用于 Cygwin 或 Mac OS X 平台。如何正确安装 PySpark 以在我的 Jupyter 笔记本中运行
【问题讨论】：
【参考方案1】：-
下载 hadoop 二进制文件 (link) 并将其放在您的主目录中（您可以根据需要选择不同的 hadoop 版本并相应地更改后续步骤）
使用以下命令解压缩主目录中的文件夹。 tar -zxvf hadoop_file_name
现在将 export HADOOP_HOME=~/hadoop-2.8.0 添加到您的 .bashrc 文件中。打开一个新终端，然后重试。
来源：Install PySpark on Mac
【讨论】：
以上是关于Pyspark Mac NativeCodeLoader：无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类的主要内容，如果未能解决你的问题，请参考以下文章
Pyspark Mac NativeCodeLoader：无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类