python scrapy

Posted 2020-10-30 不会思考的猴子

1、要求：python基础，python web框架的了解，web.py\flask\django等，爬虫框架scrapy的基础，html解析技术bs\xpath等

2、设计爬虫策略

3、反爬虫处理，模拟浏览器，使用代理ip等

4、分布式爬虫 scrapy-redis，利用redis对url去重，存储并实现多台机器运行

5、数据存储一般用Mongodb，数据量少可以用mysql等

6、数据的处理：a、json与object的处理     b、字符的处理python3默认全部采用utf-8   c、对url的字符处理(处理成Unicode，urllib.parse.quote("中文")) d、对网页或请求返回的数据字符处理（encode=utf-8）

7、实时爬虫利用网络的搜索引擎，结合动态web框架，实现实时爬取搜索出的内容

代码项目：可以参考github上的项目

实现爬取的自己写了一个小项目，如需要私信