如何用python+selenium+phantomjs获得一个网页的动态生成的html代码

Posted 2023-04-07

参考技术A

一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，下面实现一个简单的爬取

环境搭建

准备工具：python3.5,selenium,phantomjs

我的电脑里面已经装好了python3.5

安装Selenium

1

pip3 install selenium

安装Phantomjs　　

按照系统环境下载phantomjs,下载完成之后，将phantomjs.exe解压到python的script文件夹下

使用selenium+phantomjs实现简单爬虫

123456789

from selenium import webdriver  driver = webdriver.PhantomJS()driver.get('httpdu.com')   #加载网页data = driver.page_source   #获取网页文本driver.save_screenshot('1.png')   #截图保存print(data)driver.quit()

selenium+phantomjs的一些使用方法

设置请求头里的user-Agent

123456789101112

from selenium import webdriverfrom selenium.webdriver.common.desired_capabilities import DesiredCapabilities  dcap = dict(DesiredCapabilities.PHANTOMJS)  #设置useragentdcap['phantomjs.page.settings.userAgent'] = ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 ')  #根据需要设置具体的浏览器信息driver = webdriver.PhantomJS(desired_capabilities=dcap)  #封装浏览器信息driver.get('h.com')   #加载网页data = driver.page_source   #获取网页文本driver.save_screenshot('1.png')   #截图保存print(data)driver.quit()

请求超时设置

webdriver类中有三个和时间相关的方法：

1.pageLoadTimeout    设置页面完全加载的超时时间，完全加载即完全渲染完成，同步和异步脚本都执行完

2.setScriptTimeout    设置异步脚本的超时时间

3.implicitlyWait         识别对象的智能等待时间

1234567

from selenium import webdriver driver = webdriver.PhantomJS()driver.set_page_load_timeout(5)  #设置超时时间driver.get('httbaidu.com')print(driver.title)driver.quit()

设置浏览器窗口大小

调用启动的浏览器不是全屏的，有时候会影响我们的某些操作，所以我们可以设置全屏 

12

driver.maximize_window()  #设置全屏driver.set_window_size('480','800') #设置浏览器宽480，高800

元素定位

123456789101112131415161718

from selenium import webdriver driver = webdriver.PhantomJS()driver.set_page_load_timeout(5)driver.get('idu.com')try:    driver.get('.com')    driver.find_element_by_id('kw')  # 通过ID定位    driver.find_element_by_class_name('s_ipt')  # 通过class属性定位    driver.find_element_by_name('wd')  # 通过标签name属性定位    driver.find_element_by_tag_name('input')  # 通过标签属性定位    driver.find_element_by_css_selector('#kw')  # 通过css方式定位    driver.find_element_by_xpath("//input[@id='kw']")  # 通过xpath方式定位    driver.find_element_by_link_text("贴吧")  # 通过xpath方式定位    print(driver.find_element_by_id('kw').tag_name ) # 获取标签的类型except Exception as e:    print(e)driver.quit()

操作浏览器前进或后退

1234567891011121314

from selenium import webdriverdriver = webdriver.PhantomJS()try:    driver.get('httaidu.com')   #访问百度首页    driver.save_screenshot('1.png')    driver.get('ht.sina.com.cn') #访问新浪首页    driver.save_screenshot('2.png')    driver.back()                           #回退到百度首页    driver.save_screenshot('3.png')    driver.forward()                        #前进到新浪首页    driver.save_screenshot('4.png')except Exception as e:    print(e)driver.quit()

好文要顶 关注我 收藏该文  

如何用python签署数字签名？

【中文标题】如何用python签署数字签名？

【英文标题】：How to sign digital signature with python?

【发布时间】：2021-11-02 06:40:28

【问题描述】：

我正在使用 selenium 来自动化网站填充任务。但是，用户只能通过选择使用.p12证书登录网站。所以当我按下“使用数字签名登录”时，它会自动打开将.p12文件转换为XML并将数据发送到网站的软件。是否可以在不使用任何其他外部软件/应用程序的情况下完全在 python 中执行相同的过程？

【参考方案1】：

如果您想尝试使用注册表编辑器并使用 ChromeDriver，请尝试：

1-) 按 Windwos + R 并输入“regedit”。

2-) Rigth 点击“Computer\HKEY_LOCAL_MACHINE\SOFTWARE\Policies”，选择新建 -> 密钥并输入名称“Google”，然后在此密钥中添加密钥“Chrome”并在此添加名为“ AutoSelectCertificateForUrls”。完整路径必须是“Computer\HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Google\Chrome\AutoSelectCertificateForUrls”。

3-) 右击 AutoSelectCertificateForUrls，新建 -> 字符串值，并输入名称“1”。

4-) 右击“1”，修改后复制粘贴这个 JSON “”pattern”:”https://urlFromTheSiteYouWantAccess”,”filter”:“ISSUER”:“CN”:“你的cn","SUBJECT":"CN":"你的证书 cn"".

我编辑答案是因为我犯了一个错误，在这里放了一个 Java 的例子。对不起那个 Uldana Duisenaly。 但现在我将输入一个代码用于 python 更改最终访问一个带有 python 和 selenium 的网站。 不要忘记以管理员身份运行应用程序。 进口。

from os import times
import winreg
from OpenSSL import crypto
from selenium import webdriver

开证方法：

def GetCertificate(pathOfCertificate, passwordOfCertifcate):
    pkcs12 = crypto.load_pkcs12(open(pathOfCertificate, 'rb').read(), passwordOfCertifcate)   
    return pkcs12.get_certificate()

更新注册表键“AutoSelectCertificateForUrls”中StringValue中Json的方法：

def UpdateStringValue(strigValueName,newValueOfStrinValue, stringValuePath):
  key = winreg.OpenKey(winreg.HKEY_LOCAL_MACHINE, stringValuePath, 0, winreg.KEY_ALL_ACCESS)
  winreg.SetValueEx(key, strigValueName, 0, winreg.REG_SZ, newValueOfStrinValue)
  winreg.CloseKey(key)

我为路径声明 2 个变量的主要部分是字符串值和字符串值的名称。在我的情况下是“1”：

pathOfstringValue = 'SOFTWARE\Policies\Google\Chrome\AutoSelectCertificateForUrls'
stringValueName = '1'

获取证书及 Issuer 和 Subject 信息：

certificate = GetCertificate("C:\yourCrtificatePath\\Certificate.pfx", 'certificatePassword')
subject = certificate.get_subject()
issuer = certificate.get_issuer()

第一个 URL 是发送证书的地方，另一个是我们有证书登录按钮的页面：

url_where_certificate_will_be_send = "https://notacarioca.rio.gov.br/"
url = 'https://notacarioca.rio.gov.br/senhaweb/login.aspx'

构建json，（对不起，处理字符串的方式很丑）并调用方法来编辑字符串值注册表：

json = '"pattern":"' + url_where_certificate_will_be_send + '","filter":"ISSUER":"CN":"' + issuer.CN + '","C":"' + issuer.C + '","O":"' + issuer.O + '","SUBJECT":"CN":"' + subject.CN + '","C":"' + subject.C + '","O":"' + subject.O + '"'
UpdateStringValue(stringValueName, json, pathOfstringValue)

最后是点击证书登录按钮的代码：

driver = webdriver.Chrome()

driver.get(url)

btn_certificate_login = driver.find_element_by_id('ctl00_cphCabMenu_imgLoginICP')
btn_certificate_login.click()
times.sleep(2.4)
driver.quit()

要下载代码，请访问我的 github here

【参考方案2】：

一个字回答是不。

我想您正在尝试使用 selenium 进行网页抓取，并希望使用数字证书自动登录。浏览器在系统沙箱中运行，如果没有任何其他外部软件的帮助，则无法访问系统资源。

PKI Web Authentication using Digital Certificate and Browser Extension我开发的样本；还具有在引擎盖下运行的本机消息传递主机，它提供对系统证书存储（或智能卡）的访问。不过，它也可以在不打开证书选择弹出窗口（即外部组件）的情况下静默处理这些事情。需要浏览器扩展和本机主机。