scrapy settings

Posted jnhnsnow

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy settings相关的知识，希望对你有一定的参考价值。

USER_AGENT = ‘Mozilla/5.0 (Linux; android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/77.0.3865.90 Mobile Safari/537.36‘
LOG_LEVER =  LOG_LEVEL = ‘ERROR‘
IMAGES_STORE =‘./imgs‘
ROBOTSTXT_OBEY = False

以上是关于scrapy settings的主要内容，如果未能解决你的问题，请参考以下文章

scrapy-redis 和 scrapy 有啥区别

scrapy基础知识之 Scrapy 和 scrapy-redis的区别：

scrapy的使用

Scrapy分布式爬虫实战：Scrapy基础知识

Python爬虫 scrapy -- scrapy 日志信息和日志等级scrapy shell的使用scrapy post请求

python爬虫随笔-scrapy框架——scrapy框架的安装和结构介绍