第二天 Mapreduce WordCount问题及解决

Posted 2021-04-19 贝麻麻的生活

讲一讲我运行MapReduce 中的Word Count遇到的坑，代码使用py2

map.py

import sys

for line in sys.stdin:

    ss = line.strip().split('')

    for word in ss:

                print'\t'.join([word.strip(), '1'])

red.py

import sys

cur_word = None

sum = 0

for line in sys.stdin:

    ss =line.strip().split('\t')

    if len(ss) != 2:

                continue

    word, cnt = ss 

    if cur_word == None:

                cur_word = word

    if cur_word != word:

                print'\t'.join([cur_word, str(sum)])

                cur_word = word

                sum = 0

    sum += int(cnt)

print '\t'.join([cur_word, str(sum)])

Run.sh

HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"

STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"

 

#INPUT_FILE_PATH_1="/The_Man_of_Property.txt"

INPUT_FILE_PATH_1="/1.data"

OUTPUT_PATH="/output"

 

$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH

 

# Step 1.

$HADOOP_CMD jar $STREAM_JAR_PATH \

    -input $INPUT_FILE_PATH_1\

    -output $OUTPUT_PATH \

    -mapper "pythonmap_new.py" \

    -reducer "pythonred_new.py" \

    -file ./map_new.py \

    -file ./red_new.py

 

将文件都上传到hadoop上去

Hadoop fs -put * /

然后执行

Bash run.sh

日志显示如下错误：

 

2020-04-25 23:37:34,198 INFO [main]org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties fromhadoop-metrics2.properties

2020-04-25 23:37:34,385 INFO [main]org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at10 second(s).

2020-04-25 23:37:34,385 INFO [main]org.apache.hadoop.metrics2.impl.MetricsSystemImpl: MapTask metrics systemstarted

2020-04-25 23:37:34,400 INFO [main]org.apache.hadoop.mapred.YarnChild: Executing with tokens:

2020-04-25 23:37:34,400 INFO [main]org.apache.hadoop.mapred.YarnChild: Kind: mapreduce.job, Service:job_1587828984925_0001, Ident: (org.apache.hadoop.mapreduce.security.token.JobTokenIdentifier@40005471)

2020-04-25 23:37:34,571 INFO [main]org.apache.hadoop.mapred.YarnChild: Sleeping for 0ms before retrying again. Gotnull now.

2020-04-25 23:37:35,389 INFO [main]org.apache.hadoop.mapred.YarnChild: mapreduce.cluster.local.dir for child:/usr/local/src/hadoop-2.6.5/tmp/nm-local-dir/usercache/root/appcache/application_

java.io.IOException: 断开的管道

 atjava.io.FileOutputStream.writeBytes(Native Method)

 atjava.io.FileOutputStream.write(FileOutputStream.java:326)

 at java.io.BufferedOutputStream.write(BufferedOutputStream.java:122)

 atjava.io.BufferedOutputStream.flushBuffer(BufferedOutputStream.java:82)

 atjava.io.BufferedOutputStream.write(BufferedOutputStream.java:126)

 atjava.io.DataOutputStream.write(DataOutputStream.java:107)

 atorg.apache.hadoop.streaming.io.TextInputWriter.writeUTF8(TextInputWriter.java:72)

 atorg.apache.hadoop.streaming.io.TextInputWriter.writeValue(TextInputWriter.java:51)

 atorg.apache.hadoop.streaming.PipeMapper.map(PipeMapper.java:106)

 at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)

 atorg.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)

 atorg.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:450)

 atorg.apache.hadoop.mapred.MapTask.run(MapTask.java:343)

 atorg.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)

 atjava.security.AccessController.doPrivileged(Native Method)

 atjavax.security.auth.Subject.doAs(Subject.java:422)

 atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)

 atorg.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

2020-04-25 23:37:38,244 WARN [main]org.apache.hadoop.streaming.PipeMapRed: java.io.IOException: 断开的管道

2020-04-25 23:37:38,248 INFO [Thread-14]org.apache.hadoop.streaming.PipeMapRed: MRErrorThread done

2020-04-25 23:37:38,249 INFO [main] org.apache.hadoop.streaming.PipeMapRed:PipeMapRed failed!

java.lang.RuntimeException: PipeMapRed.waitOutputThreads():subprocess failed with code 1

 atorg.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)

 atorg.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)

 atorg.apache.hadoop.streaming.PipeMapper.map(PipeMapper.java:120)

 atorg.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)

 atorg.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)

 at org.apache.hadoop.mapred.MapTask

 

解决：

上网搜索原因：PipeMapRed.waitOutputThreads(): subprocess failed with code 1

主要问题是脚本可能出现问题

1.本地运行: 可以先输入一个小的txt的文档，方便查阅，我当时就编辑了一个a.txt里面每行输入aaa    bbb ccc  aa类似的字母或数字

通过管道执行：cat a.txt | python map.py | sort-k1 |python red.py

出现map.py和red.py  tab键和空格不一致，我明明每个都输入tab键，不知道原因，为了解决这个问题，遇到tab就手动按4下空格键

运行时这个问题解决

2.接着运行，出现print后面语法错误，这个原因是未切换到python2，因为我使用python2的名称是py27tf, 输入source activatepy27tf按回车

再次运行的时候，就可以正常显示结果了

3. 接着将代码重新上传到hadoop上面

执行bash run.sh仍显示开始的错误代码，继续上网搜索，这次换个思路，hadoop2自带wordcount模板，使用网上的方法试了一下：

Hadoop jar /usr/local/src/Hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount  /a.txt  /output/01

这下执行成功了

4. 代码检查好多遍，实在不行，我就自己手写一个python3的代码，重新上传到hadoop，抱着死马当活马医的态度，没想到居然执行成功了

，真的是太激动了，后来又把原先代码print后面都加(),也执行成功了，两天的调试及查找原因弄得筋疲力尽，但是看到成功的那一刻，真的感觉都值了

 

总结：

后面看到别的同学也遇到类似的问题，主要是centos7自带python2.7，复制后的slave1和slave2同样也自带python2.7，然后又安装anaconda3

如果只在master安装anaconda3，slave1和slave2不安装的话，不影响，原因如下：

1） master上面的RM只负责资源管理和任务分配，slave1,slave2上面的AM才负责执行，这样豁然开朗，我自己是每台虚拟机都安装anaconda3，所以才有这个bug产生

我自己仍有个问题，后面找到解决方案在更新：

我明明把所有代码全部切到python2了，还是执行失败

经过测试，我将环境变量更新了一下：vim ~/.bashrc --> 添加一句：source activate py27tf --> 保存后，输入：source ~/.bashrc，主要是slaves需要，master随便添不添加

最后，激励自己一下，过程真的很痛苦，但是成功后的成就感，自信感和满足感成倍的增加