如何获取Hadoop Native Lib

Posted 2023-05-05

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何获取Hadoop Native Lib相关的知识，希望对你有一定的参考价值。

参考技术A hadoop native lib就在hadoop安装目录/lib/native下，是想获取64位的native库。

解决方案一：

#cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64

#源码编译snappy---./configure make & make install

#cp libsnappy.so $JAVA_HOME/jre/lib/amd64

主要是jre目录下缺少了libhadoop.so和libsnappy.so两个文件。具体是，spark-shell依赖的是scala，scala依赖的是JAVA_HOME下的jdk
当这两个文件准备好后再次启动spark shell不会出现这个问题。

在spark的conf/spark-env.sh文件加入：export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

在/etc/profile设置一下：export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

以上是关于如何获取Hadoop Native Lib的主要内容，如果未能解决你的问题，请参考以下文章