scrapy设置随机请求头的两种方法
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy设置随机请求头的两种方法相关的知识，希望对你有一定的参考价值。
参考技术A 需要先导入random模块然后在meddlewares.py中创建RandomUserAgentMiddleWare()类.重写scrapy内置的UserAgentMiddleware.
需要先导入UserAgent
from fake_useragen timport UserAgent
需要在settings.py中设置
# 用于配置随机user-agent的类型，如果值是random，表示任意随机一个；如果配置的是chrome，则只随机chrome中的user-agent.
RANDOM_UA_TYPE ='chrome'
最后同上面一样需要在settings.py中设置DOWNLOAD_MIDDLEWARES,将系统默认的随机请求头给禁掉,再添加我们自己定义的随机UserAgent
以上是关于scrapy设置随机请求头的两种方法的主要内容，如果未能解决你的问题，请参考以下文章