selenium爬取斗鱼所有直播房间信息

Posted springionic

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了selenium爬取斗鱼所有直播房间信息相关的知识,希望对你有一定的参考价值。

还是分析一下大体的流程:

  • 首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all
  • 发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作
  • 分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom",但是当烦到最后一页的时候,class="dy-Pagination-disabled dy-Pagination-next",所以我们要想利用selenium模拟点击这个按钮,我们应该利用get_elements_by_xpath()这个函数,这样到最后一页就获取不到了,就可以终止程序了。而用elements的原因是当到最后一页的时候获取不到的话,element会报错
  • 然后还是通用的套路:发送请求获取响应、提取数据和下一页的元素、保存数据、点击下一页的元素循环......

遇到的两个坑:

  • 需要用time.sleep()函数强制等待页面加载完再获取元素,否则报错,睡几秒就看你的网速了
  • xpath定位的时候,网页上有的类如这样:class=" abc"或者class="abc ",前面或后面有空格的,xpath处理的时候也必须有空格,否则获取不到

代码实现:

 

 1 import time
 2 from selenium import webdriver
 3 
 4 
 5 class DouyuSpider(object):
 6     def __init__(self):
 7         self.start_rul = https://www.douyu.com/directory/all
 8         self.driver = webdriver.Chrome()
 9 
10     def get_content_list(self):
11         time.sleep(10)  # 强制等待10秒,否则可能报错
12         li_list = self.driver.find_elements_by_xpath(//ul[@class="layout-Cover-list"]/li)
13         content_list = []
14         for li in li_list:
15             item = 
16             item[room_img] = li.find_element_by_xpath(.//img[@class="DyImg-content is-normal "]).get_attribute(src)
17             item[room_title] = li.find_element_by_xpath(.//h3[@class="DyListCover-intro"]).text
18             item[root_category] = li.find_element_by_xpath(.//span[@class="DyListCover-zone"]).text
19             item[author_name] = li.find_element_by_class_name(DyListCover-user).text
20             item[watch_num] = li.find_element_by_class_name(DyListCover-hot).text
21             content_list.append(item)
22             print(item)  # 打印每次获取到的直播房间的信息
23         # 获取下一页的元素,为了防止没有报错,这里用elements,翻到最后一页一定就没有了,返回一个列表
24         next_url = self.driver.find_elements_by_xpath(//li[@class=" dy-Pagination-next"])
25         next_url = next_url[0] if len(next_url) > 0 else None
26         return content_list, next_url
27 
28     def save_content_list(self, content_list):
29         pass  # 保存数据这里就不再做演示
30 
31     def run(self):  # 实现主要逻辑
32         # 1.start_url
33         # 2.发送请求,获取响应
34         self.driver.maximize_window()
35         self.driver.get(self.start_rul)
36         # 3.提取数据,提取下一页的元素
37         content_list, next_url = self.get_content_list()
38         # 4.保存数据
39         self.save_content_list(content_list)
40         # 4.点击下一页元素,循环
41         while next_url is not None:
42             next_url.click()
43             content_list, next_url = self.get_content_list()
44             self.save_content_list(content_list)
45 
46 
47 
48 if __name__ == __main__:
49     douban = DouyuSpider()
50     douban.run()

 

以上是关于selenium爬取斗鱼所有直播房间信息的主要内容,如果未能解决你的问题,请参考以下文章

多线程Beatiful Soup爬取斗鱼所有在线主播的信息

selenium动态页面模拟点击

scrapy初探-斗鱼直播信息抓取

Python爬虫实例使用selenium抓取斗鱼直播平台数据

Python爬虫-爬取斗鱼网页selenium+bs

使用scrapy爬取手机版斗鱼主播的房间图片及昵称