python装了selenium-3.0.1,但是无法启动firefox,firefox版本49.0.1
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python装了selenium-3.0.1,但是无法启动firefox,firefox版本49.0.1相关的知识,希望对你有一定的参考价值。
报错内容
selenium.common.exceptions.WebDriverException: Message: Expected browser binary location, but unable to find binary in default location, no 'moz:firefoxOptions.binary' capability provided, and no bina ... (truncated)
以上两者选1即可。追问
你是说我要把firefox.exe所在的目录加在环境变量里面么
我放在环境变量里面了,没有用,还是报这个错
System.setProperty("webdriver.firefox.bin", "C:\\Program Files\\Mozilla Firefox\\firefox.exe"); // firefox路径
WebDriver webDriver = new FirefoxDriver();
试试这个
python selenium爬取kuku漫画
在爬取这个网站之前,试过爬取其他网站的漫画,但是发现有很多反爬虫的限制,有的图片后面加了动态参数,每秒都会更新,所以前一秒爬取的图片链接到一下秒就会失效了,还有的是图片地址不变,但是访问次数频繁的话会返回403,终于找到一个没有限制的漫画网站,演示一下selenium爬虫
# -*- coding:utf-8 -*- # crawl kuku漫画 __author__=‘fengzhankui‘ from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities import os import urllib2 import chrom class getManhua(object): def __init__(self): self.num=5 self.starturl=‘http://comic.kukudm.com/comiclist/2154/51850/1.htm‘ self.browser=self.getBrowser() self.getPic(self.browser) def getBrowser(self): dcap = dict(DesiredCapabilities.PHANTOMJS) dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36") browser=webdriver.PhantomJS(desired_capabilities=dcap) try: browser.get(self.starturl) except: print ‘open url fail‘ browser.implicitly_wait(20) return browser def getPic(self,browser): cartoonTitle = browser.title.split(‘_‘)[0] self.createDir(cartoonTitle) os.chdir(cartoonTitle) for i in range(1,self.num): i=str(i) imgurl = browser.find_element_by_tag_name(‘img‘).get_attribute(‘src‘) print imgurl with open(‘page‘+i+‘.jpg‘,‘wb‘) as fp: agent = chrom.pcUserAgent.get(‘Firefox 4.0.1 - Windows‘) request=urllib2.Request(imgurl) request.add_header(agent.split(‘:‘,1)[0],agent.split(‘:‘,1)[0]) response=urllib2.urlopen(request) fp.write(response.read()) print ‘page‘+i+‘success‘ NextTag = browser.find_elements_by_tag_name(‘a‘)[-1].get_attribute(‘href‘) browser.get(NextTag) browser.implicitly_wait(20) def createDir(self,cartoonTitle): if os.path.exists(cartoonTitle): print ‘exists‘ else: os.mkdir(cartoonTitle) if __name__==‘__main__‘: getManhua()
对了应对反爬虫的机制,我在selenium和urllib2分别加了请求参数,反正网站通过过滤请求的方式将爬虫过滤掉,在这里仅爬取了开始url往下的5页,而且为了防止图片和网络延时,设置20秒了等待时间,刚开始运行时间会稍微有点长,需要等待。
运行过程如图所示
以上是关于python装了selenium-3.0.1,但是无法启动firefox,firefox版本49.0.1的主要内容,如果未能解决你的问题,请参考以下文章
带有 HTMLUnitDriver 的 Selenium 3.0.x
带有 IE11 的 Selenium 3.0.1 在 Windows 10 上找不到元素(在带有 IE11 的 Windows 7 上运行良好)
python中安装了pil库,但是编译的时候还是提示No module named 'PIL'