C# 爬虫框架实现 概述

Posted 2020-07-28 thought

目录：

1. C# 爬虫框架实现 概述　
2. C# 爬虫框架实现 流程_爬虫结构/原理
3. C# 爬虫框架实现 流程_各个类开发
4. C# 爬虫框架实现 流程_遇到的问题
5. C# 爬虫框架实现 后记
6. C#爬虫框架实现 源代码下载

 

开发目的：写这个程序主要是为了找工作。因为没项目在简历上吃大亏，空口无凭，只能做出点东西证明自己能做事情。其次是为了练习使用MVC做的博客网站提供素材。

需自定义：

• patternlist匹配项定义
• 定义结果输出方式：本地sqlserver 的spider数据库，或者终端
• 种子库

需要：

• 开发使用了开源类：CSQuery解析html，所以patternlist匹配项的书写规范要符合CSQuery，其实基本和CSS选择器差不多
• 使用visual studio 2015 update2