记一次企业级爬虫系统升级改造:基于AngleSharp实现的抓取服务

Posted 彩色铅笔

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了记一次企业级爬虫系统升级改造:基于AngleSharp实现的抓取服务相关的知识,希望对你有一定的参考价值。

 

  爬虫系统升级改造正式启动:

    在第一篇文章,博主主要介绍了本次改造的爬虫系统的业务背景与全局规划构思:

    未来Support云系统,不仅仅是爬虫系统,是集爬取数据、数据建模处理统计分析、支持全文检索资源库、其他业务部门和公司资讯系统重要数据来源、辅助决策等功能于一身的企业级Support系统。

    介于好多园友对博主的任务排期表感兴趣,便介绍一下博主当时针对这个系统做的工作任务排期概要(排期表就是更加详细细分外加估算工时的一份excel表格,就不贴出来了):

      1.总分四大阶段,逐步上线,最终达到预期规划

      2.第一阶段实现一个新的采集系统,自动实时化爬取数据、初步规则引擎实现数据规则化、统计邮件自动推送、开放数据检索,并上线替换原有爬虫系统

      3.第二阶段实现规则化引擎升级,扩展成长式规则引擎,并开放采集源提交、管理、规则配置、基础数据服务等基本系统操作

      4.第三阶段引入全文检索,针对规则化数据创建索引,提供数据全文搜索功能,开放工单申请,可定制数据报告

      5.第四阶段引入数据报表功能,开放统计分析结果,并向舆情监控与决策支持方向扩展

    当然,在博主未争取到更多资源的情况下,第一阶段的排期要求了一个月,后面各阶段只做了功能规划,并未做时间排期。

    这也算是一个小手段吧,毕竟第一阶段上线,boss们是可能提很多其他意见,或者遇到其他任务安排的,不能一开始就把时间节点写死,不然最终受伤的可能是程序员自己。

你比他好一点,他不会承认你,反而会嫉妒你,只有你比他好很多,他才会承认你,然后还会很崇拜你,所以要做,就一定要比别人做得好很多。

 

  代码框架搭建:

    虽然大家都对我的“SupportYun”命名颇有异议,但是我依然我行我素,哈哈~~~总感觉读起来很和谐

    先上一张截止今天,项目结构的整体图:

    博主一直很喜爱DDD的设计模式,也在很多项目中引用了一些经典DDD模式的框架,但是明显这次的任务是不适合做DDD的。

    引入了EF Code First做数据持久化,未引入相关的各种操作扩展,这次打算纯拉姆达表达式来写,毕竟吃多了荤的,偶尔也想尝几口素,调剂调剂口味~

    两个WinServices分别是爬虫服务与规则化引擎服务。全文检索相关由于近期不会涉及,故暂未引入,相信其他的类库大家看命名就明白是干什么的了。

 一匹真正的好马,即使没有伯乐赏识,也能飞奔千里。

 

  爬虫服务剖析:

      1.先来看Support.Domain,sorrry,原谅我对DDD爱得深沉,总是喜欢用Domain这个命名。

      Basic和Account是一些常规表模型,就不一一介绍了。

      顺带给大家共享一份一直在用的全国省市县数据sql,下载地址(不要积分,放心下载):http://download.csdn.net/detail/cb511612371/9700143

      Migrations熟悉EF的都应该知道,是DB迁移文件夹,每次模型有所改变,直接命令行执行,生成迁移文件,update数据库就OK了。命令行如下:

        a)Enable-Migrations -ProjectName EFModel命名空间
          -- 开启数据迁移(开启后,该类库下会生成Migrations文件夹,无需多次开启)

        b)Add-Migration Name -ProjectName EFModel命名空间
          -- 添加数据迁移方案(指定一个名称,添加后会在Migrations文件夹下生成对应迁移方案代码)

        c)Update-Database -ProjectName EFModel命名空间
          -- 执行数据迁移方案(匹配数据库迁移方案,修改数据库)

      再来看爬虫服务的模型:

      

      博主设计了四张表来处理爬虫服务,分别存储采集源<-1:n->采集规则<-1:n->初始采集数据,规则分组(主要用于将执行间隔相同的规则分为一组,以便后期抓取任务量大时,拆分服务部署)

      

      2.再来看SupportYun.GrabService,顾名思义,这就是我们爬虫抓取服务的核心逻辑所在。

       

      由于时间紧急,博主当前只做了使用AngleSharp来抓取的服务,以后会逐步扩充基于正则表达式以及其他第三方组件的抓取服务。

      CrawlerEngineService 是爬虫服务的对外引擎,所有爬取任务都应该是启动它来执行爬取。

      其实,爬取别人网页服务的本质很简单,就是一个获取html页面,然后解析的过程。那么我们来看看针对博主的模型设计,具体又该是怎样一个流程:

      可以看到,博主目前是在爬虫引擎里面循环所有的规则分组,当以后规则扩张,抓取频率多样化后,可以分布式部署多套任务框架,指定各自的任务规则组来启动引擎,即可达到面向服务的任务分流效果。

      3.最后,我们需要创建一个Windows服务来做任务调度(博主当前使用的比较简单,引入其他任务调度框架来做也是可以的哈~),它就是:SupportYun.CrawlerWinServices

      

      windows服务里面的逻辑就比较简单啦,就是起到一个定时循环执行任务的效果,直接上核心代码:      

 1     public partial class Service1 : ServiceBase
 2     {
 3         private CrawlerEngineService crawlerService=new CrawlerEngineService();
 4 
 5         public Service1()
 6         {
 7             InitializeComponent();
 8         }
 9 
10         protected override void OnStart(string[] args)
11         {
12             try
13             {
14                 EventLog.WriteEntry("【Support云爬虫服务启动】");
15                 CommonTools.WriteLog("【Support云爬虫服务启动】");
16 
17                 Timer timer = new Timer();
18                 // 循环间隔时间(默认5分钟)
19                 timer.Interval = StringHelper.StrToInt(ConfigurationManager.AppSettings["TimerInterval"].ToString(), 300) * 1000;
20                 // 允许Timer执行
21                 timer.Enabled = true;
22                 // 定义回调
23                 timer.Elapsed += new ElapsedEventHandler(TimedTask);
24                 // 定义多次循环
25                 timer.AutoReset = true;
26             }
27             catch (Exception ex)
28             {
29                 CommonTools.WriteLog("【服务运行 OnStart:Error" + ex + "");
30             }
31         }
32 
33         private void TimedTask(object source, System.Timers.ElapsedEventArgs e)
34         {
35             System.Threading.ThreadPool.QueueUserWorkItem(delegate
36             {
37                 crawlerService.Main();
38             });
39         }
40 
41         protected override void OnStop()
42         {
43             CommonTools.WriteLog(("【Support云爬虫服务停止】"));
44             EventLog.WriteEntry("【Support云爬虫服务停止】");
45         }
46     }

      第35行是启用了线程池,放进队列的是爬虫抓取引擎服务的启动方法。

      windows服务的具体部署,相信大家都会,园子里也有很多园友写过相关文章,就不详细解释了。

      4.那么我们再来梳理一下当前博主整个爬虫服务的整体流程:

不论对错,只要你敢思考,并付诸行动,你就可以被称为“软件工程师”,而不再是“码农”。

 

  爬取服务核心代码:

    上面说的都是博主针对整个系统爬虫服务的梳理与设计。最核心的当然还是我们最终实现的代码。

一切不以最终实践为目的的构思设计,都是耍流氓。

    我们首先从看看抓取服务引擎的启动方法:

 1         public void Main()
 2         {
 3             using (var context = new SupportYunDBContext())
 4             {
 5                 var groups = context.RuleGroup.Where(t => !t.IsDelete).ToList();
 6                 foreach (var group in groups)
 7                 {
 8                     try
 9                     {
10                         var rules =
11                             context.CollectionRule.Where(r => !r.IsDelete && r.RuleGroup.Id == group.Id).ToList();
12                         if (rules.Any())
13                         {
14                             foreach (var rule in rules)
15                             {
16                                 if (CheckIsAllowGrab(rule))
17                                 {
18                                     // 目前只开放AngleSharp方式抓取
19                                     if (rule.CallScriptType == CallScriptType.AngleSharp)
20                                     {
21                                         angleSharpGrabService.OprGrab(rule.Id);
22                                     }
23                                 }
24                             }
25                         }
26                     }
27                     catch (Exception ex)
28                     {
29                         // TODO:记录日志
30                         continue;
31                     }
32                 }
33             }
34         }

    上面说了,当前只考虑一个爬虫服务,故在这儿循环了所有规则组。

    第16行主要是校验规则是否允许抓取(根据记录的上次抓取时间和所在规则组的抓取频率做计算)。

    我们看到,引擎服务只起到一个调度具体抓取服务的作用。那么我们来看看具体的AngleSharpGrabService,基于AngleSharp的抓取服务:

    IsRepeatedGrab 这个方法应该是抽象类方法,博主就不换图了哈。

    它对外暴露的是一个OprGrab抓取方法:

 1         /// <summary>
 2         /// 抓取操作
 3         /// </summary>
 4         /// <param name="ruleId">规则ID</param>
 5         public void OprGrab(Guid ruleId)
 6         {
 7             using (var context = new SupportYunDBContext())
 8             {
 9                 var ruleInfo = context.CollectionRule.Find(ruleId);
10                 if (ruleInfo == null)
11                 {
12                     throw new Exception("抓取规则已不存在!");
13                 }
14 
15                 // 获取列表页
16                 string activityListHtml = this.GetHtml(ruleInfo.WebListUrl, ruleInfo.GetCharset());
17 
18                 // 加载HTML
19                 var parser = new HtmlParser();
20                 var document = parser.Parse(activityListHtml);
21 
22                 // 获取列表
23                 var itemList = this.GetItemList(document, ruleInfo.ListUrlRule);
24 
25                 // 读取详情页信息
26                 foreach (var element in itemList)
27                 {
28                     List<UrlModel> urlList = GetUrlList(element.InnerHtml);
29                     foreach (UrlModel urlModel in urlList)
30                     {
31                         try
32                         {
33                             var realUrl = "";
34                             if (urlModel.Url.Contains("http"))
35                             {
36                                 realUrl = urlModel.Url;
37                             }
38                             else
39                             {
40                                 string url = urlModel.Url.Replace(ruleInfo.CollectionSource.SourceUrl.Trim(), "");
41                                 realUrl = ruleInfo.CollectionSource.SourceUrl.Trim() + url;
42                             }
43 
44                             if (!IsRepeatedGrab(realUrl, ruleInfo.Id))
45                             {
46                                 string contentDetail = GetHtml(realUrl, ruleInfo.GetCharset());
47                                 var detailModel = DetailAnalyse(contentDetail, urlModel.Title, ruleInfo);
48 
49                                 if (!string.IsNullOrEmpty(detailModel.FullContent))
50                                 {
51                                     var ruleModel = context.CollectionRule.Find(ruleInfo.Id);
52                                     ruleModel.LastGrabTime = DateTime.Now;
53                                     var newData = new CollectionInitialData()
54                                     {
55                                         CollectionRule = ruleModel,
56                                         CollectionType = ruleModel.CollectionType,
57                                         Title = detailModel.Title,
58                                         FullContent = detailModel.FullContent,
59                                         Url = realUrl,
60                                         ProcessingProgress = ProcessingProgress.未处理
61                                     };
62                                     context.CollectionInitialData.Add(newData);
63                                     context.SaveChanges();
64                                 }
65                             }
66 
67                         }
68                         catch
69                         {
70                             // TODO:记录日志
71                             continue;
72                         }
73                     }
74                 }
75             }
76         }

    第16行用到的GetHtml()方法,来自于它所继承的抓取基类BaseGrabService:

    具体代码如下: 

  1     /// <summary>
  2     /// 抓取服务抽象基类
  3     /// </summary>
  4     public abstract class BaseGrabService
  5     {
  6         /// <summary>
  7         /// 线程休眠时间 毫秒
  8         /// </summary>
  9         private readonly static  int threadSleepTime = 1000;
 10 
 11         /// <summary>
 12         /// 加载指定页面
 13         /// </summary>
 14         /// <param name="url">加载地址</param>
 15         /// <param name="charsetType">编码集</param>
 16         /// <returns></returns>
 17         public string GetHtml(string url, string charsetType)
 18         {
 19             string result = null;
 20             HttpHelper httpHelper = new HttpHelper();
 21             result = httpHelper.RequestResult(url, "GET", charsetType);
 22             result = ConvertCharsetUTF8(result);
 23             
 24             // 简单的休眠,防止IP被封
 25             // TODO:后期视情况做更进一步设计
 26             Thread.Sleep(threadSleepTime);
 27             return result;
 28         }
 29 
 30         /// <summary>
 31         /// 强制将html文本内容转码为UTF8格式
 32         /// </summary>
 33         /// <param name="strHtml"></param>
 34         /// <returns></returns>
 35         public string ConvertCharsetUTF8(string strHtml)
 36         {
 37             if (!strHtml.Contains("Content-Type") && !strHtml.Contains("gb2312"))
 38             {
 39                 if (strHtml.Contains("<title>"))
 40                 {
 41                     strHtml = strHtml.Insert(strHtml.IndexOf("<title>", StringComparison.Ordinal), "<meta http-equiv=\\"Content-Type\\" content=\\"text/html; charset=utf-8\\">");
 42                 }
 43             }
 44             else
 45             {
 46                 strHtml = strHtml.Replace("gb2312", "utf-8").Replace("gbk", "utf-8");
 47             }
 48             return strHtml;
 49         }
 50 
 51         /// <summary>
 52         /// 根据规则,从html中返回匹配结果
 53         /// </summary>
 54         /// <param name="doc">html doc</param>
 55         /// <param name="rule">规则</param>
 56         /// <returns></returns>
 57         public IEnumerable<IElement> GetItemList(IDocument doc,string rule)
 58         {
 59             var itemList = doc.All.Where(m => m.Id == rule.Trim());
 60             if (!itemList.Any())
 61             {
 62                 itemList = doc.All.Where(m => m.ClassName == rule.Trim());
 63             }
 64             return itemList;
 65         }
 66 
 67         /// <summary>
 68         /// 获取列表项中的url实体
 69         /// </summary>
 70         /// <returns></returns>
 71         public List<UrlModel> GetUrlList(string strItems)
 72         {
 73             List<UrlModel> itemList = new List<UrlModel>();
 74             Regex reg = new Regex(@"(?is)<a[^>]*?href=([\'""]?)(?<url>[^\'""\\s>]+)\\1[^>]*>(?<text>(?:(?!</?a\\b).)*)</a>");
 75             MatchCollection mc = reg.Matches(strItems);
 76             foreach (Match m in mc)
 77             {
 78                 UrlModel urlModel = new UrlModel();
 79                 urlModel.Url = m.Groups["url"].Value.Trim().Replace("amp;", "");
 80                 urlModel.Title = m.Groups["text"].Value.Trim();
 81                 itemList.Add(urlModel);
 82             }
 83 
 84             return itemList;
 85         }
 86     }
 87 
 88     /// <summary>
 89     /// URL对象
 90     /// </summary>
 91     public class UrlModel
 92     {
 93         /// <summary>
 94         /// 连接地址
 95         /// </summary>
 96         public string Url { get; set; }
 97 
 98         /// <summary>
 99         /// 连接Title
100         /// </summary>
101         public string Title { get; set; }
102     }
103 
104     /// <summary>
105     /// 详情内容对象
106     /// </summary>
107     public class DetailModel
108     {
109         /// <summary>
110         /// title
111         /// </summary>
112         public string Title { get; set; }
113 
114         /// <summary>
115         /// 内容
116         /// </summary>
117         public string FullContent { get; set; }
118     }
View Code

    注意AngleSharpGrabService的OprGrab方法第33行至42行,在做url的构建。因为我们抓取到的a标签的href属性很可能是相对地址,在这里我们需要做判断替换成绝对地址。

    具体逻辑大家可以参考上面的爬取流程图。

    OprGrab方法的第47行即从抓取的具体详情页html中获取详情数据(目前主要获取title和带html标签的内容,具体清理与分析由规则化引擎来完成)。

    具体实现代码并无太多营养,和抓取列表页几乎一致:构建document对象,通过规则匹配出含有title的html片段和含有内容的html片段,再对title进行html标签清洗。

    具体清洗一个html文本html标签的方法已经属于规则化引擎的范畴,容博主下一篇写规则化引擎服务的时候再来贴出并给大家作分析。

 

    这时候,我们部署在服务器上的windows服务就能按我们配好的规则进行初始数据抓取入库了。

    贴一张博主当前测试抓取的数据截图:

 

    博主终于算是完成了系统的第一步,接下来就是规则化引擎分析FullContent里面的数据了。

    博主争取本周写完规则化引擎相关的代码,下周再来分享给大家哈!

    可是答应了一个月时间要做好第一阶段的所有内容并上线呢,哎~~~敲代码去

硬的怕横的,横的怕不要命的,疯子都是不要命的,所以疯子力量大,程序员只有一种,疯狂的程序员。

    共勉!!!

 

原创文章,代码都是从自己项目里贴出来的。转载请注明出处哦,亲~~~

以上是关于记一次企业级爬虫系统升级改造:基于AngleSharp实现的抓取服务的主要内容,如果未能解决你的问题,请参考以下文章

记一次改造react脚手架的过程

记一次改造react脚手架的过程

项目实践记一次对后端服务进行跨域改造和HTTPS升级的探究和实践

项目实践记一次对后端服务进行跨域改造和HTTPS升级的探究和实践

项目实践记一次对后端服务进行跨域改造和HTTPS升级的探究和实践

记一次WMS的系统改造-分析问题