Scrapy对接selenium+phantomjs

Posted zengsf

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy对接selenium+phantomjs相关的知识，希望对你有一定的参考价值。

1、创建项目 ：Jd
2、middlewares.py中添加selenium
　　1、导模块 ：from selenium import webdriver
　　2、定义中间件
　　　　class seleniumMiddleware(object):
　　　　　　...
　　　　　　def process_request(self,request,info):
　　　　　　　　# 注意：参数为request的url
　　　　　　　　self.driver.get(request.url)
3、settings.py
　　DOWNLOADER_MIDDLEWARES={"Jd.middleware.seleniumMiddleware":20}











以上是关于Scrapy对接selenium+phantomjs的主要内容，如果未能解决你的问题，请参考以下文章