MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$

Posted code never lies

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$相关的知识,希望对你有一定的参考价值。

之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作

报的异常是getStat出了问题,也就是说SHELL.WINDOWS是false了,于是猜测是hadoop.dll的问题,因为之前用的是3.0的,于是去GitHub上下了个3.1的,链接https://github.com/s911415/apache-hadoop-3.1.0-winutils/blob/master/bin/hadoop.dll覆盖原目录下的hadoop.dll后,重新运行正常,此时切片数变成了3

 

以上是关于MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$的主要内容,如果未能解决你的问题,请参考以下文章

如何运行自带wordcount-Hadoop2

编译WordCount实例

理解MapReduce计算构架

理解MapReduce计算构架

三.hadoop mapreduce之WordCount例子

MapReduce编程之实例分析:wordCount