macos解决Hadoop之Unable to load native-hadoop library

Posted 2021-02-10 liyong561

　　很显然，native-hadoop library不支持macos，如果是Linux就不会有这个问题。在百度上搜了，要下载在macos上编译的native hadoop library,我在网上下载了native，但是没有用，还是报错，所以那个package应该只适用linux，网上搜macos的native，但是没有看，所以只有自己去编译hadoop。

　　要安装maven，protobuf2.50，openssl等，其中参考了很多博客：https://www.jianshu.com/p/75f7d5d52bed，http://bigdatadecode.club/mac%E4%B8%8B%E7%BC%96%E8%AF%91Hadoop.html，https://www.jianshu.com/p/48856c4f3c3d

　　在编译的过程中，报错Hadoop 2.7 Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7，后来看博客说jdk1.7可以，https://blog.csdn.net/promotelife/article/details/50898032，我的是jdk1.8，然后我下载了hadoop-2.8.5,然后就可以，https://blog.csdn.net/tterminator/article/details/51779689。其中还有一个debug技巧。

　　这个过程真的很曲折，要多思考，发现问题所在，还有网上有很多资源可以用，真的很好。