macos解决Hadoop之Unable to load native-hadoop library
Posted liyong561
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了macos解决Hadoop之Unable to load native-hadoop library相关的知识,希望对你有一定的参考价值。
很显然,native-hadoop library不支持macos,如果是Linux就不会有这个问题。在百度上搜了,要下载在macos上编译的native hadoop library,我在网上下载了native,但是没有用,还是报错,所以那个package应该只适用linux,网上搜macos的native,但是没有看,所以只有自己去编译hadoop。
要安装maven,protobuf2.50,openssl等,其中参考了很多博客:https://www.jianshu.com/p/75f7d5d52bed,http://bigdatadecode.club/mac%E4%B8%8B%E7%BC%96%E8%AF%91Hadoop.html,https://www.jianshu.com/p/48856c4f3c3d
在编译的过程中,报错Hadoop 2.7 Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7,后来看博客说jdk1.7可以,https://blog.csdn.net/promotelife/article/details/50898032,我的是jdk1.8,然后我下载了hadoop-2.8.5,然后就可以,https://blog.csdn.net/tterminator/article/details/51779689。其中还有一个debug技巧。
这个过程真的很曲折,要多思考,发现问题所在,还有网上有很多资源可以用,真的很好。
以上是关于macos解决Hadoop之Unable to load native-hadoop library的主要内容,如果未能解决你的问题,请参考以下文章
Unable to load native-hadoop library for your platform解决方法
解决 Unable to load native-hadoop library for your platform
解决Unable to load native-hadoop library for your platform
解决Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Hadoop问题解决:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... usi
Hadoop安装—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf