hadoop程序中的类型不匹配错误

Posted 2023-04-18

技术标签:

【中文标题】hadoop程序中的类型不匹配错误【英文标题】：Type mismatch error in hadoop program 【发布时间】：2018-04-05 04:32:57 【问题描述】：

import java.io.IOException;
import java.util.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class CommonFriends 
        public static class TokenizerMapper
                extends Mapper<Object, Text, Text, IntWritable>
                private IntWritable friend = new IntWritable();
                private Text friends = new Text();
                public void map(Object key, Text value, Context context )     throws IOException, InterruptedException 
                        StringTokenizer itr = new     StringTokenizer(value.toString(),"\n");
                    while (itr.hasMoreTokens()) 
                            String[] line = itr.nextToken().split(" ");
                            if(line.length > 2 )
                                    int person = Integer.parseInt(line[0]);
                                    for(int i=1; i<line.length;i++)
                                            int ifriend = Integer.parseInt(line[i]);
                                            friends.set((person < ifriend ? person+"-"+ifriend : ifriend+"-"+person));
                                            for(int j=1; j< line.length; j++ )
                                                    if( i != j )
                                                            friend.set(Integer.parseInt(line[j]));
                                                            context.write(friends, friend);
                                                    
                                            
                                    
                            
                    
            
    

    public static class IntSumReducer extends Reducer<Text,IntWritable,Text,Text> 
            private Text result = new Text();
            public void reduce(Text key, Iterable<IntWritable> values, Context context)
                    throws IOException, InterruptedException 
                    HashSet<IntWritable> duplicates = new HashSet();
                    ArrayList<Integer> tmp = new ArrayList();
                    for (IntWritable val : values) 
                            if(duplicates.contains(val))
                                    tmp.add(val.get());
                            else
                                    duplicates.add(val);
                    
                    result.set(tmp.toString());
                    context.write(key, result);
            
    

    public static void main(String[] args) throws Exception 
            Configuration conf = new Configuration();
            Job job = Job.getInstance(conf, "Common Friends");
            job.setJarByClass(CommonFriends.class);
            job.setMapperClass(TokenizerMapper.class);
            job.setCombinerClass(IntSumReducer.class);
            job.setReducerClass(IntSumReducer.class);
            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(IntWritable.class);
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(Text.class);
            FileInputFormat.addInputPath(job, new Path(args[0]));
            FileOutputFormat.setOutputPath(job, new Path(args[1]));
            System.exit(job.waitForCompletion(true) ? 0 : 1);

错误：java.io.IOException：错误值类：类 org.apache.hadoop.io.Text 不是类 org.apache.hadoop.io.IntWritable 在 org.apache.hadoop.mapred.IFile$Writer.append(IFile.java:194) 在 org.apache.hadoop.mapred.Task$CombineOutputCollector.collect(Task.java:1350) 在 org.apache.hadoop.mapred.Task$NewCombinerRunner$OutputConverter.write(Task.java:1667) 在 org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89) 在 org.apache.hadoop.mapreduce.lib.reduce.WrappedReducer$Context.write(WrappedReducer.java:105) 在 CommonFriends$IntSumReducer.reduce(CommonFriends.java:51) 在 CommonFriends$IntSumReducer.reduce(CommonFriends.java:38) 在 org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:171) 在 org.apache.hadoop.mapred.Task$NewCombinerRunner.combine(Task.java:1688) 在 org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1637) 在 org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:1489) 在 org.apache.hadoop.mapred.MapTask$NewOutputCollector.close(MapTask.java:723) 在 org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:793) 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 在 org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) 在 java.security.AccessController.doPrivileged（本机方法）在 javax.security.auth.Subject.doAs(Subject.java:422) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657) 在 org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

这是我的代码，错误信息如下。任何的想法？？我认为mapper和reducer的输出类配置有问题输入文件是文件中的数字列表。如果需要，将提供更多详细信息。程序寻找好友之间的共同好友

【问题讨论】：

请您在代码中添加 cmets 以识别错误行（51 和 38）？ 【参考方案1】：

删除代码中的job.setCombinerClass(IntSumReducer.class); 可以解决这个问题

【讨论】：

【参考方案2】：

刚刚查看了您的代码，您似乎正在使用reducer 代码作为combiner 代码。

您需要检查的一件事。

您的组合器代码将以<Text, IntWritable> 的形式输入，组合器的输出将为<Text, Text> 格式。

那么Reducer 的输入格式为< Text, Text>，但您已将Reducer 的输入指定为< Text, IntWritable >，所以它会抛出错误。

可以做两件事：-

1) 你可以考虑改变 Reducer 的输出类型。