Nutch源码阅读进程5

Posted 2020-10-05 于继海

看nutch的源码仿佛就是一场谍战片，而构成这精彩绝伦的谍战剧情的就是nutch的每一个从inject->generate->fetch->parse->update的环节，首先我党下派任务给优秀的地下工作者（inject），地下工作者经过一系列处理工作（告诉自己媳妇孩子要出差什么的……）以及加入自己的主观能动性（generate），随后深入敌方进行fetch侦查工作，这其中会获得敌方的大量信息，不是一般农民工能看懂的，需要工作者凭借自己渊博的知识储备和经验进行parse，去伪存真，然后通过各种隐蔽的方式向组织汇报（update）。组织再根据汇报的信息和当下的时局再次知道地下工作者的下一步工作，就是又一个inject->generate->fetch->parse->update环节。so，剧情仍在继续，update走起~~~~

上期回顾：上回主要讲的是第四个环节，对于nutch抓取到的页面进行解析，主要是通过一个解析插件完成了页面的主要信息的获取，并生成crawl_parse、parse_data和parse_text三个文件夹。这回的update主要是将信息反馈到crawldb中，并更新crawldb。

1.按照惯例，每个过程都有一个入口函数，没错，这个入口就是：crawlDbTool.update(crawlDb, segs, true, true); // update crawldb，进入该函数后主要执行update(crawlDb, segments, normalize, filter, additionsAllowed, false);我们可以看到其中的参数有crawldb目录、segments目录，是否过滤、规范化等。进入到该方法后显示初始化文件系统并设置文件锁，然后初始化了一个job，设置了包括输入输出等信息：

JobConf job = CrawlDb.createJob(getConf(), crawlDb);
job.setBoolean(CRAWLDB_ADDITIONS_ALLOWED, additionsAllowed);
job.setBoolean(CrawlDbFilter.URL_FILTERING, filter);
job.setBoolean(CrawlDbFilter.URL_NORMALIZING, normalize);

FileInputFormat.addInputPath(job, fetch);
FileInputFormat.addInputPath(job, parse);

 JobClient.runJob(job);

2.我们进入JobConf job = CrawlDb.createJob(getConf(), crawlDb);中的createJob方法，可以看到job的相关详细信息：

if (FileSystem.get(job).exists(current)) {
FileInputFormat.addInputPath(job, current);
}
job.setInputFormat(SequenceFileInputFormat.class);

job.setMapperClass(CrawlDbFilter.class);
job.setReducerClass(CrawlDbReducer.class);

FileOutputFormat.setOutputPath(job, newCrawlDb);
job.setOutputFormat(MapFileOutputFormat.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(CrawlDatum.class);

// https://issues.apache.org/jira/browse/NUTCH-1110
job.setBoolean("mapreduce.fileoutputcommitter.marksuccessfuljobs", false);

其中的mapper中的CrawlDbFilter类主要是实现对url的过滤和规则化工作，当然还是通过nutch的插件服务来实现的。reducer的CrawlDbReducer主要是实现对于新老url的合并，回写到crawldb中，具体实现环节中还有些不清楚，等有时间还要洗洗琢磨下。。。

3.该任务执行完后，就删除中间临时文件，然后执行 CrawlDb.install(job, crawlDb);对crawldb进行合并，并解除文件锁。

参考博文：http://blog.csdn.net/amuseme_lu/article/details/6727703

友情赞助

如果你觉得博主的文章对你那么一点小帮助，恰巧你又有想打赏博主的小冲动，那么事不宜迟，赶紧扫一扫，小额地赞助下，攒个奶粉钱，也是让博主有动力继续努力，写出更好的文章^^。

　　　　1. 支付宝　　　　　　　　　　　　　　　　　　　　　　　　　　2. 微信