python3之scrapy安装使用

Posted zxpo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3之scrapy安装使用相关的知识,希望对你有一定的参考价值。

需要安装的包

pip install scrapy selenium 

可能需要卸载重装的模块   lxml cryptography  cffi  pypiwin32

pip uninstall xxx

pip install xxx

下载安装chromedriver,它的版本要和chrome版本对应起来,在win10上如果出现权限错误,先手工运行一下就好。

ChromeDriver 2.44
 
Supports Chrome v69-71

地址为: https://sites.google.com/a/chromium.org/chromedriver/downloads

 

在scrapy.cfg同级目录下创建启动文件start.py

from scrapy import cmdline


cmdline.execute("scrapy crawl project".split())

spider.browser.implicitly_wait(10),这个是智能等待
scrapy.http.Request(url=req_url, meta={"mode" : "rate"}, callback=self.htmlparse, dont_filter=True) dont_filter这个是允许重复,不去重的。





以上是关于python3之scrapy安装使用的主要内容,如果未能解决你的问题,请参考以下文章

python3之scrapy安装使用

python3.5 之Scrapy环境安装

转载python3安装scrapy之windows32位爬坑

Python之Scrapy安装

Python3 爬虫05_安装Scrapy

python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页)