python小白学习记录 scrapy 结合 selenium 使用自己的chrome浏览器

Posted jswf

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python小白学习记录 scrapy 结合 selenium 使用自己的chrome浏览器相关的知识,希望对你有一定的参考价值。

 

chrome.exe --remote-debugging-port=9222 --user-data-dir="C:selenumAutomationProfile"

此条命令复制到命令行,打开端口为9222的浏览器 ,勿关闭

(此前应先配置环境变量 否则无chrome.exe此命令)

chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
# 指定chromedriver
chrome_driver = "C:Program Files (x86)GoogleChromeApplicationchromedriver.exe"
self.bro = webdriver.Chrome(chrome_driver, chrome_options=chrome_options)

虽然此时路径仍是 chromedriver 因为配置了chrome_options项,故会自动在之前打开的9222端口的浏览器上执行爬虫

这就实现了 控制手工已打开的浏览器

以上是关于python小白学习记录 scrapy 结合 selenium 使用自己的chrome浏览器的主要内容,如果未能解决你的问题,请参考以下文章

学习爬虫框架scrapy时的一些收获

python 爬虫框架scrapy学习记录和整理 python爬虫框架scrapy入门文档学习

小白学 Python 爬虫(40):爬虫框架 Scrapy 入门基础对接 Selenium 实战

小白学 Python 爬虫(37):爬虫框架 Scrapy 入门基础 Spider Middleware

python爬虫scrapy之如何同时执行多个scrapy爬行任务

开学前的快乐------小白的MySQL最基本使用操作学习记录