Sclenium中的Selenium + PhantomJS

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Sclenium中的Selenium + PhantomJS相关的知识,希望对你有一定的参考价值。

我正在尝试使用Selenium和PhantomJS来获取网站的动态内容。这是我的代码

class judge(Spider):
    name = "judge"
    start_urls = ["http://wenshu.court.gov.cn/List/List?sorttype=1&conditions=searchWord+2+AJLX++%E6%A1%88%E4%BB%B6%E7%B1%BB%E5%9E%8B:%E6%B0%91%E4%BA%8B%E6%A1%88%E4%BB%B6"]

    def init_driver(self):
        driver = webdriver.Chrome()
        return driver 

    def parse(self,response):
        driver = self.init_driver()
        driver.get(self.start_urls[0])
        sel = Selector(text=driver.page_source)
        self.logger.info(u'---------------Parsing----------------')
        print sel.xpath("//div[@class='dataItem'][1]/table/tbody/tr[1]/td/div[@class='wstitle']/a/text()").extract()
        self.logger.info(u'---------------success----------------')

当我用driver = webdriver.Chrome()尝试我的脚本时,sel.xpath(“// div [@ class ='dataItem']给出了所需的内容,一切正常。但是当我改为使用driver = webdriver.PhantomJS()时,sel.xpath(”// div [@ class ='dataItem']是空的。我尝试在driver.get()之后使用WebDriverWait使页面完全加载,但它不起作用。

以上是关于Sclenium中的Selenium + PhantomJS的主要内容,如果未能解决你的问题,请参考以下文章

python3用Selenium驱动火狐浏览器GeckoDriver安装教程

python3用Selenium驱动火狐浏览器GeckoDriver安装教程

scrapy使用PhantomJS和selenium爬取数据

php Phan trang PHP - MySQL

Phan 给出内置 JetBrains PhpStorm 注释的问题

markdown 静态PHP7分析与phan和