Python爬虫网络爬虫的尺寸与约束

Posted 2020-11-01 Infi_chu

 Infi-chu:

http://www.cnblogs.com/Infi-chu/

 

一、网络爬虫的尺寸：

1.小规模，数据量小，爬取速度不敏感，Requests库，爬取网页
2.中规模，数据规模较大，爬取速度敏感，Scrapy库，爬取网站
3.大规模，大规模，搜索引擎，爬取速度很关键，定制开发，爬取全站

 

二、Robots协议：

1.含义Robots Exclusion Standard 网络爬虫排除标准
2.作用：网站告知网络爬虫哪些页面可以抓取，哪些不行
3.形式：在网站根目录下的robots.txt文件
4.使用：
　　a.网络爬虫：自动或人工识别robots.txt，再进行内容爬取
　　b.约束性：可以不遵循，但要注意法律风险