使用 mapreduce 解析 twitter json：Java、Pig

Posted 2023-04-18

【中文标题】使用 mapreduce 解析 twitter json：Java、Pig

【英文标题】：parsing twitter json using mapreduce: Java, Pig

【发布时间】：2014-04-15 06:19:58

【问题描述】：

我确定您可能会发现这个问题有些“重复”，但我确定在发布相同问题之前我已经完成了研究。我也为在这里在一个线程中发布 Java 和 Pig 问题而道歉，但我不想为同样的问题创建另一个线程。

我有一个 json 文件，其中包含一些 twitter 摘录。我也在尝试使用 java MR & Pig 执行解析，但面临问题。以下是我尝试编写的 Java 代码：

public class twitterDataStore 
    private static final ObjectMapper mapper = new ObjectMapper();
    public static abstract class Map extends MapReduceBase implements 
    Mapper<Object, Text, IntWritable, Reporter>

        private static final IntWritable one = new IntWritable();
        private Text word = new Text();

        public void map(Object key, Text value, OutputCollector<Text, IntWritable> context, Reporter arg3)
        throws IOException
            try
                JSONObject jsonObj = new JSONObject(value.toString());

                String text = (String) jsonObj.get("retweet_count");
                StringTokenizer strToken = new StringTokenizer(text);

                while(strToken.hasMoreTokens())
                    word.set(strToken.nextToken());
                    context.collect(word, one);
                
            catch(IOException e)
                e.printStackTrace();
             catch (JSONException e) 
                // TODO Auto-generated catch block
                e.printStackTrace();
            

        


    
    public static class Reduce extends MapReduceBase implements Reducer<Object, Text, IntWritable, Reporter>

        @Override
        public void reduce(Object key, Iterator<Text> value,
                OutputCollector<IntWritable, Reporter> context, Reporter arg3)
                throws IOException 
                    while(value.hasNext())
                        System.out.println(value);
                        if(value.equals("retweet_count"))
                        
                            System.out.println(value.equals("id_str"));
                        

                    
            // TODO Auto-generated method stub

        

    
    public static void main(String[] args) throws IOException

        JobConf conf = new JobConf(twitterDataStore.class);
        conf.setJobName("twitterDataStore");

        conf.setMapperClass(Map.class);
        conf.setReducerClass(Reducer.class);

        conf.setOutputKeyClass(Text.class);
        conf.setOutputValueClass(IntWritable.class);

        conf.setInputFormat(TextInputFormat.class);
        conf.setOutputFormat(TextOutputFormat.class);

        FileInputFormat.setInputPaths(conf, new Path(args[0]));
        FileOutputFormat.setOutputPath(conf,new Path(args[1]));

        JobClient.runJob(conf);
    

问题是，你现在可能已经明白了，我在执行 jar 时无法进行解析，很可能是因为 json jar 不包含在包中。我尝试使用此处提供的信息：“parsing json input in hadoop java”。但我无法通过任何选项。无论@Tejas Patil 提出什么建议和@Fraz 尝试过什么，我都无法解决我的问题。我将在此处粘贴生成的警告以供参考：

14/04/14 21:09:22 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

来到 Pig（0.11 版）加载，我写了一个 JsonLoader 加载来加载我的推文数据：

data = LOAD '/tmp/twitter.txt' using JsonLoader('in_reply_to_screen_name:chararray,text:chararray,id_str:long,place:chararray,in_reply_to_status_id:chararray, contributors:chararray,retweet_count:CHARARRAY,favorited:chararray,truncated:chararray,source:chararray,in_reply_to_status_id_str:chararray,created_at:chararray, in_reply_to_user_id_str:chararray,in_reply_to_user_id:chararray,user:(lang:chararray,profile_background_image_url:chararray,id_str:long,default_profile_image: chararray,statuses_count:chararray,profile_link_color:chararray,favourites_count:chararray,profile_image_url_https:chararray,following:chararray, profile_background_color:chararray,description:chararray,notifications:chararray,profile_background_tile:chararray,time_zone:chararray, profile_sidebar_fill_color:chararray,listed_count:chararray,contributors_enabled:chararray,geo_enabled:chararray,created_at:chararray,screen_name:chararray, follow_request_sent:chararray,profile_sidebar_border_color:chararray,protected:chararray,url:chararray,default_profile:chararray,name:chararray, is_translator:chararray,show_all_inline_media:chararray,verified:chararray,profile_use_background_image:chararray,followers_count:chararray,profile_image_url:chararray, id:long,profile_background_image_url_https:chararray,utc_offset:chararray,friends_count:chararray,profile_text_color:chararray,location:chararray),retweeted:chararray, id:long,coordinates:chararray,geo:chararray');

很抱歉在这里不必要地粘贴了所有内容，但只是不想错过解释中的任何内容。

我在将某些字段声明为“整数”时遇到了问题，但是当我将所有整数转换为 chararray 时，该命令通过了检查。我在这里遇到的错误是

2014-04-14 21:19:24,977 [JobControl] WARN  org.apache.hadoop.mapred.JobClient - Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
2014-04-14 21:19:24,982 [JobControl] WARN  org.apache.hadoop.mapred.JobClient - No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

解析同样的问题。我尝试在此加载之前注册 json jar，但仍然是同样的问题。谁能帮我解决这个问题？

提前致谢。 -阿迪尔

【参考方案1】：

您正在使用 TextInputFormat，因此当您执行 value.toString() 时，您会得到一行作为输入。不是整个 JSON 对象。

我建议你使用这个：

https://github.com/alexholmes/json-mapreduce#an-inputformat-to-work-with-splittable-multi-line-json