爬虫爬取豆瓣图书TOP250

Posted kohinur

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫爬取豆瓣图书TOP250相关的知识,希望对你有一定的参考价值。

通过xpath定位元素

使用xpath定位元素有好几种方法

// 是从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。

 

 技术图片

 

 

#!/user/bin/env python
#coding:utf-8
#先是从selenium导入webdriver,然后用webdriver打开安装好的谷歌浏览器。
from selenium import webdriver
#打开chrom浏览器
browser =webdriver.Chrome()
#访问豆瓣
browser.get(https://book.douban.com/top250?icn=index-book250-all)



#得到标题
title=browser.find_element_by_xpath("//div[@id=‘content‘]//h1").text
#打印标题
print(title)
#获得当前页面图书信息的元素对象的列表,总共有25条
book_list=browser.find_elements_by_xpath("//tr[@class=‘item‘]")
for ele in book_list:
    print(ele.text+"
")

 

因为有很多条信息,所以要注意是find_elements_by_xpath哦~

 

 

 

 

 

翻页

 

定位 后页 这个元素

 

使用find_element_by_class_name来定位这一元素

#!/user/bin/env python
#coding:utf-8
#先是从selenium导入webdriver,然后用webdriver打开安装好的谷歌浏览器。
from selenium import webdriver
import time
#打开chrom浏览器
browser =webdriver.Chrome()
#访问豆瓣
browser.get(https://book.douban.com/top250?icn=index-book250-all)


for i in range(10):
    #得到标题
    title=browser.find_element_by_xpath("//div[@id=‘content‘]//h1").text
    #打印标题
    print(title)
    #获得当前页面图书信息的元素对象的列表,总共有25条
    book_list=browser.find_elements_by_xpath("//tr[@class=‘item‘]")
    for ele in book_list:
        print(ele.text+"
")
    #输出当前页数
    print("------------第%s页------------"%(i+1))

    #下一页
    next_page=browser.find_element_by_class_name("next").click()
    time.sleep(5)
    print("
")

 

time库则是python的一个标准库

time sleep() 函数推迟调用线程的运行,图中的5表示推迟执行5秒

因为页面的加载需要时间,试想一下,你点击下一页以后立刻开始定位元素,而那个时候元素还没有加载完成,那么程序就容易报错了。

技术图片

 

 

 

 

 

 

以上是关于爬虫爬取豆瓣图书TOP250的主要内容,如果未能解决你的问题,请参考以下文章

爬虫爬取豆瓣图书TOP250

爬取豆瓣网图书TOP250的信息

爬虫之爬取豆瓣热门图书的名字

python爬虫入门爬取豆瓣电影top250

Python 2.7_利用xpath语法爬取豆瓣图书top250信息_20170129

爬取豆瓣电影Top250和和豆瓣图书