windows 运行hadoop自带例子程序wordcount总是死在Map 0% Reduce0%

Posted 2023-02-24

windows xp 系统运行.
hadoop版本是1.0.4。

（1）新建一个”input”目录，然后在里面新建test1”、“test2”文本文件，并分别写入“hello world”、“hello hadoop”
$ mkdir input
$ cd input
$ echo “hello world”>test1.txt
$ echo “hello hadoop”>test2.txt
注：input文件的路径为： /home/hadoop/input
（2）将本地文件“input”复制到hadoop的目录下
注：复制粘贴删除重命名可以不用指令，直接鼠标右键。方法是先在终端输入：
$ sudo nautilus

（3）将hadoop里面的“input”文件上传到HDFS文件系统中，然后重命名为“in”，然后新建数据输出目录“out”，指令及其结果如下：
$ bin/hadoop dfs –put input in
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out
（4）任务执行完毕，查看结果
$ bin/hadoop dfs –cat out/*
hadoop 1
hello 2
world 1
cat: Source must be a file.
（6）输出文件从Hadoop分布式文件系统，复制到本地文件系统中查看，指令及其结果如下：、
$ bin/hadoop dfs -get out output
$ cat output/*
cat: output/_logs: Is a directory
hadoop 1
hello 2
world 1

进入hadoop目录后，HDFS的一些命令 $ cd/usr/hadoop
bin/hadoop dfs -mkdir [文件夹名称] //建立文件夹
bin/hadoop dfs –ls //查看当前的HDFS根目录
bin/hadoop dfs -rmr [文件或文件名] //删除根目录下的文件或文件夹
bin/hadoop dfs -put [文件名1] [文件名2] //将dbrg1中hadoop目录下的文件名1拷贝到HDFS

希望可以帮助到你，望采纳，谢谢！ 参考技术A HADOOP 不能运行在WINDOWS上。
图片只是Eclipse在WINDOWS上的开发客户端

你说的情况有很多种可能。
首先是配置，单机、伪集群，集群的配置各不相同。
从图上看，你的HDFS配置应该是成功了
请仔细检查MAP-RED的配置，或者贴出来。

检查HOSTS、PROFILE、*ENV等配置。

如果还是不能解决问题，请到HADOOP目录/logs 中查看各个组件的LOG记录，看看有没有异常信息。追问

org.apache.hadoop.mapred.TaskTracker: Error initializing attempt_201302271029_0001_m_000002_1:
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=SYSTEM, access=EXECUTE, inode="tmp":Administrator:supergroup:rwx------这是日志，好像还是权限问题。

追答

你启动hadoop的用户是什么？ROOT?HADOOP？
最简单的办法 ，在WINDOWS 下创建一个HADOOP（或ROOT）用户，登入这个用户，打开ECLIPSE，就可以避免权限问题了

参考技术B 新建一个”input”目录，然后在里面新建test1”、“test2”文本文件，并分别写入“hello world”、“hello hadoop”
$ mkdir input 参考技术C 然后在里面新建test1”、“test2”文本文件，并分别写入“hello world” 参考技术D 你好，我现在也出现这个问题，你是怎么解决