《C# 爬虫 破境之道》：第一境 爬虫原理 — 第一节：整体思路

Posted 2021-03-20 mikecheers

　　在构建本章节内容的时候，笔者也在想一个问题，究竟什么样的采集器框架，才能算得上是一个“全能”的呢？就我自己以往项目经历而言，可以归纳以下几个大的分类：

1. 根据通讯协议：HTTP的、HTTPS的、TCP的、UDP的；
2. 根据数据类型：纯文本的、json的、压缩包的、图片的、视频的；
3. 根据更新周期：不定期更新的、定期更新的、增量更新的；
4. 根据数据来源：单一数据源、多重数据源、多重数据源混合；
5. 根据采集点分布：单机的，集群的；
6. 根据反爬虫策略：控制频率的，使用代理的，使用特定UA的；
7. 根据配置：可配置的，不可配置的；

　　以上的分类，也有可能不够全面，不过应该可以涵盖主流数据采集的分类了。

　　为了方便阐述一个爬虫的工作原理，我们从上面找到一条最简单路径，来进行阐述（偷奸耍滑？非也，大道化简，万变不离其宗：）

　　ＯＫ，一个小目标，单机、单一数据源、定期更新、纯文本、HTTP的爬虫，来一只。

 

在第一境的后面各节中，我们就来逐步实现这个小目标，同时，也来探究一下其中的原理。只有掌握了这些，才能通过继续扩展，衍生出强大的爬虫：）