python3之scrapy安装使用
Posted zxpo
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3之scrapy安装使用相关的知识,希望对你有一定的参考价值。
需要安装的包
pip install scrapy selenium
可能需要卸载重装的模块 lxml cryptography cffi pypiwin32
pip uninstall xxx
pip install xxx
下载安装chromedriver,它的版本要和chrome版本对应起来,在win10上如果出现权限错误,先手工运行一下就好。
ChromeDriver 2.44
Supports Chrome v69-71
地址为: https://sites.google.com/a/chromium.org/chromedriver/downloads
在scrapy.cfg同级目录下创建启动文件start.py
from scrapy import cmdline
cmdline.execute("scrapy crawl project".split())
spider.browser.implicitly_wait(10),这个是智能等待
scrapy.http.Request(url=req_url, meta={"mode" : "rate"}, callback=self.htmlparse, dont_filter=True) dont_filter这个是允许重复,不去重的。
以上是关于python3之scrapy安装使用的主要内容,如果未能解决你的问题,请参考以下文章