改段字就能查询任意书籍销量，31行代码爬取京东书籍畅销榜
Posted 李元静
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了改段字就能查询任意书籍销量，31行代码爬取京东书籍畅销榜相关的知识，希望对你有一定的参考价值。
Selenium库
前面，我们分析的都是简单的网页直接加载所得的结果。也就是说，通过requests库请求的网页数据都是存在的。
但是，现实并不总是如此，有很多大型的网站其网页的数据都是通过javascript执行后获取的，如果需要常规处理爬虫，我们需要分析JavaScript代码。
但即使你分析出来了，也可能有大量的数据是经过加密处理的，有时候很难找到解析的规律，这个时候想要抓取数据，就必须等待浏览器加载完成之后获取。
而要得到所见即所得的网页数据，就必须等待浏览器加载完成，这个时候，只要加载完成，不管其使用了多么复杂的反爬虫技术，都不会影响爬取的结果。
而这个库就是：Selenium库，它能模拟浏览器进行网页的加载与生成，也就是所见即所得。老规矩，使用之前必须安装该库：
pip install selenium
不过，仅仅有selenium库是不能运行程序的，因为selenium库使用了WebDriver接口，比如我们后续都使用Chrome浏览器，那么你需要下载chromedriver，下载链接如下：
http://npm.taobao.org/mirrors/chromedriver/
在这个链接中，找到对应系统，对于Chrome浏览器版本的chromedriver进行下载。下载完成之后，建议开发中配置其到PATH开发环境之中，这样不管项目在哪里都可以运行。
如果你没有配置环境变量，那么将文件放在项目目录也就可以运行，后面会讲解不配置环境也可以哪里都可以运行的方式，这里先略过。
基本用法
既然，我们Selenium库的运行环境已经完全配置成功。下面，我们来实现一个最基本的用法，也就是打开淘宝，并自动搜索不二家棒棒糖，示例如下：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec
try:
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
input = browser.find_element_by_id('key')
input.send_keys("不二家棒棒糖")
input.send_keys(Keys.ENTER)
wait = WebDriverWait(browser, 5)
wait.until(ec.presence_of_all_elements_located((By.ID, 'J_selector')))
print(browser.title)
print(browser.current_url)
print(browser.page_source)
browser.close()
except Exception as e:
print(e)
browser.close()
运行之后，效果如下：
这里，我们通过文件位置指定，设置了chromedriver，这也就是不配置环境的办法。不过，这是在项目目录，你不写默认也可以运行。而其他的，我们通过browser.get()加载网页，通过find_element_by_id()发现标签，通过send_keys()填入标签内容，通过send_keys(Keys.ENTER)模拟按下回车键搜索。至于其他的后续有详细的介绍。
查找节点
在基本用法中，我们通过find_element_by_id()方法进行查找节点，但是find具有很多的方法，我们先来看一张图：
可以看到，我们可以通过class，id，xpath，tag_name等查找节点的内容，而且具有相同标签或者class等节点的还提供了elements以及element的2种方式。
elements获取所有集合列表，element获取一个标签，如果多个标签相同，获取第一个标签。
查找单个节点
下面，我们来分别使用这些方法，查找节点。首先，我们使用element方法查找单个节点，示例代码如下所示：
from selenium import webdriver
from selenium.webdriver.common.by import By
try:
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
# 通过id查找单个元素
input = browser.find_element_by_id('key')
# 通过class查找单个元素
moblie = browser.find_element_by_class_name('mobile_txt')
print(moblie.text)
# 通过class查找单个元素
xpath = browser.find_element_by_xpath('//*[@id="shortcutServiceButton"]')
print(xpath.text)
# 通过name查找单个元素
meta = browser.find_element_by_name('Keywords')
print(meta.get_attribute('content'))
div = browser.find_element_by_tag_name('div')
print(div.text)
# 通过class查找单个元素通用方式
moblie = browser.find_element(By.CLASS_NAME, 'mobile_txt')
print(moblie.text)
browser.close()
except Exception as e:
print(e)
browser.close()
这里，我们使用京东网页进行测试获取单个元素。运行之后，效果如下：
需要额外注意最后一个通用方法：find_element。它前面是指定你根据什么规则去找，后面是这个规则的字符串。
查找多个节点
Selenium库的element()的每个方法，都对应着一个elements()方法。而elements()方法就是用于查找多个节点的方式。示例如下：
from selenium import webdriver
from selenium.webdriver.common.by import By
try:
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
divs = browser.find_elements_by_tag_name('div')
i = 0
for div in divs:
if i == 5:
break
print(div.text)
i += 1
moblies = browser.find_elements(By.CLASS_NAME, 'mobile_txt')
for moblie in moblies:
print(moblie.text)
browser.close()
except Exception as e:
print(e)
browser.close()
这里，我们只通过2个方法举例，其他的方法都是直接在element后面加个s即可。因为elements()方法获取的都是元素列表，所以可以进行一个个的遍历处理。
运行之后，效果如下：
节点交互
在前面的基础用法中，我们通过Selenium库实现了自动搜索等功能。这也是Selenium库最大的优点，它可以与节点交互，模拟人的操作。
比如，输入文本框，点击按钮，点击链接等等，都属于交互范畴。Selenium库都完全支持。这里，我们从京东主页进入家用电器板块，代码如下：
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
a = browser.find_element_by_class_name('cate_menu_lk')
a.click()
其click()方法，就是模拟用户进行点击操作。因为这是个超链接点击之后就会跳转，这里不展示，感兴趣的读者可以自己测试。
动作链
在实际的爬虫程序中，我们往往并不是只用于跳转链接，获取搜索而已。更多的时候，我们的动作是连续的。
比如我要模拟一个手机下单，首先需要进入手机购买界面，选择购买的型号，点击购买的链接，然后付款，这是一个完整的动作链。
Selenium库中，这些动作链的实现需要创建ActionChains对象，并通过ActionChains类的若干方法向浏览器发送一个或多个动作。
现在，我们来实现一个有趣的动作链，刚刚前面不是点击手机链接吗？现在，我们不点击链接，只将这个二级导航一个一个的展开。示例代码如下所示：
from selenium import webdriver
from selenium.webdriver import ActionChains
import time
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
actions=ActionChains(browser)
lis=browser.find_elements_by_css_selector('.cate_menu_item')
for li in lis:
actions.move_to_element(li).perform()
time.sleep(2)
运行之后，效果如下：
其动作链还有很多其他的操作方式，比如拖动操作使用的是drag_and_drop()，双击double_click()等，这些一个一个讲太多，使用方式与这个差不多，所以跳过。
执行Javascript代码
说句不好的爬虫使用方式，那就是刷新浏览量。而很多网页并不将打开网站视作浏览量的增加，而是你浏览了或者停留了一段时间才增加浏览量，这个时候怎么办？
我们可以自己定义一个Javascript代码，将页面缓慢滑动，或者说直接滑动到底部，示例代码如下所示：
from selenium import webdriver
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
在Selenium库中，我们使用execute_script执行Javascript代码，这里的意思是滑动到网页的底部。同样的你可以通过execute_async_script()方法alert一个弹出框。
获取节点信息
节点信息都是一些简单的数据，这里小编用一个表格专门列出来这些数据如果获取调用，如下表所示：
| 属性/方法 | 意义 |
|---|---|
| text | 获取标签文本 |
| id | 获取标签id |
| tag_name | 获取标签名称 |
| size | 获取节点的尺寸 |
| location | 获取节点相对于页面的绝对坐标 |
| get_attribute(‘属性名’) | 获取节点属性 |
这些都是一些简单的方法，这里就不演示了，不过有一个节点需要注意，它就是location，在我们识别验证码的时候，往往用它进行定位然后截图。当然，其也可以应用于移动元素锁定位置。
管理Cookie
其实，我们使用Selenium库用的最多的就是其辅助登录，要知道现在验证码千奇百怪，有的需要手机验证码才能登录，有的需要滑动模块登录，但博主相信，以后肯定是二维码登录为主。
比如，博主写过一个抢购茅台的脚本，就需要开始辅助验证码登录之后，开始抢购。登录之后，我们主要用于获取Cookie，下面，我们来模拟京东登录，并获取Cookie，示例如下：
from selenium import webdriver
import time
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
login_button = browser.find_element_by_class_name('user_login')
login_button.click()
time.sleep(10)
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())
运行之后，效果如下：
可以看到，我们通过get_cookies获取登录后的cookie，通过delete_all_cookies删除cookie值。如果你有现成的cookie，可以通过add_cookie方法进行设置。
改变节点的属性
这里，我们来做一个有趣的实验。比如百度中间有一个百度一下的按钮，我们这里试着将其移动位置。示例如下：
from selenium import webdriver
import time
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.baidu.com/")
login_button = browser.find_element_by_id('su')
x = [50, 90, 150, 180]
y = [100, 200, 250, 60]
for i in range(len(x)):
js_code='''
arguments[0].style.position="absolute"
arguments[0].style.left="{}px"
arguments[0].style.top="{}px"
'''.format(x[i],y[i])
browser.execute_script(js_code,login_button)
time.sleep(2)
按钮会在设置的x,y区间每2秒动一次。感兴趣的读者可以自己运行观察一下。
实战：抓取京东最畅销的编程书籍
初始步骤很简单，就与开头基础用法一样，搜索编程书籍然后跳转。不过，后面的内容才是真正的爬虫问题，这里我们先来看看帮当书籍在哪里，如下图所示：
可以看到我们的每个书籍订单都是在ul之中，不过，这里只是默认的搜索编程书籍出来的结果，我们需要的是销量排行，所以这里需要再次点击销量后，在获取。
完整的代码如下所示：
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec
try:
browser = webdriver.Chrome('./chromedriver')
browser.get("https://www.jd.com/")
search_edit = browser.find_element_by_id('key')
search_edit.send_keys("编程书籍")
search_edit.send_keys(Keys.ENTER)
wait = WebDriverWait(browser, 5)
wait.until(ec.presence_of_all_elements_located((By.ID, 'J_selector')))
time.sleep(5)
sales_volume = browser.find_element_by_css_selector('#J_filter > div.f-line.top > div.f-sort > a:nth-child(2)')
print(sales_volume.text)
sales_volume.click()
time.sleep(5)
wait.until(ec.presence_of_all_elements_located((By.CLASS_NAME, 'tab-content-item')))
div = browser.find_element_by_id('J_goodsList')
ul = div.find_element_by_tag_name('ul')
lis = ul.find_elements_by_tag_name('li')
for li in lis:
title = li.find_element_by_class_name('p-name').find_element_by_tag_name('a')
commit = li.find_element_by_class_name('p-commit').find_element_by_tag_name('a')
price = li.find_element_by_class_name('p-price').find_element_by_tag_name('i')
print("书籍名称：", title.get_attribute('title'))
print("书籍销量：", commit.text)
print("书籍购买：", "https://"+title.get_attribute('href'))
print("书籍价格：", price.text)
print()
browser.close()
except Exception as e:
print(e)
browser.close()
运行之后，效果如下：
以上是关于改段字就能查询任意书籍销量，31行代码爬取京东书籍畅销榜的主要内容，如果未能解决你的问题，请参考以下文章