selenium中无头浏览器的用法

Posted 2021-06-02 J哥。

学习爬虫你一定要对前端的知识有所了解：

# 让浏览器在后台默默的运行

import time
from selenium.webdriver import Chrome
from selenium.webdriver.support.select import Select      #对 select 的处理
from selenium.webdriver.chrome.options import Options   # 无头的模块导入


# 准备好参数配置   不用记  要用的时候 到时候粘过来
opt = Options()
opt.add_argument('--headless')
opt.add_argument('disbale-gpu')  #不显示

web = Chrome(options=opt)   #把参数配置设置到浏览器中

web.get('https://www.endata.com.cn/BoxOffice/BO/Year/index.html')


#定位到下拉列表：
tit = web.find_element_by_xpath('//*[@id="OptionDate"]')
# 这里是对元素进行包装 ，包装成下拉菜单
sel = Select(tit)

# 让浏览器进行调试选项：
for i in range(len(sel.options)):  #  options 就是定位索引位置 i 就是每一个下拉框中 选项的索引位置
    sel.select_by_index(i)  #按照索引进行切换
    time.sleep(2)
    table = web.find_element_by_xpath('//*[@id="TableList"]/table') #  页面内容的文本信息
    print(table.text)
    print('====================================================')

print('运行完毕！')
web.close()


# 怎样拿到页面代码（ 经过数据加载以及js执行之后的结果的html内容）
print(web.page_source)