Hadoop“无法为您的平台加载native-hadoop库”警告

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop“无法为您的平台加载native-hadoop库”警告相关的知识,希望对你有一定的参考价值。

我使用PySpark并没有安装Hadoop。我收到这个警告Hadoop “Unable to load native-hadoop library for your platform” warning

我是否需要安装Hadoop,如果是这样的话我怎么能继续,因为我已经在我的系统上安装了PySpark?

请注意,我是Hadoop生态系统的新手。

答案

这只是一个警告,你可以忽略它。 Spark和pyspark可以在没有hadoop的情况下使用。

你可以在这个链接上循环:

https://community.hortonworks.com/questions/19897/apache-spark-error-unable-to-load-native-hadoop-li.html

以上是关于Hadoop“无法为您的平台加载native-hadoop库”警告的主要内容,如果未能解决你的问题,请参考以下文章

hadoop 配置文件放到哪里

hadoop2 环境的搭建(自动HA)

Hadoop高手之路3-Hadoop集群搭建

Hadoop可以用来做啥

hadoop是啥 hadoop介绍

学习笔记Hadoop—— Hadoop集群的安装与部署—— Hadoop配置参数介绍Hadoop集群启动与监控