如何解决python xpath爬取页面得到空列表（语法都对的情况下）

Posted 2020-12-01 Amy鱼

引言：

很多网页呈现给我们的静态页面，但是实际上是由服务器端的动态页面生成的。再加上网站设有反爬虫机制，所以抓取到的页面不一定和源码相同。

所以！！从源码里copy xpath，不一定能取到数据！

实例：

非常的简单，从百度首页上，抓取“新闻”这两个字。

import requests
from lxml import etree
url="http://www.baidu.com"
ua={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36‘}
bd = requests.get(url, headers=ua)
bd.encoding=‘utf-8‘

接下来打印一下我们抓取到的页面

print(bd.text)

看不出来啥，当然了，不出问题的话，你会以为这就是页面的源码。

然后我们试一下打印“百度一下“这个按钮的文本。

numl=html.xpath(‘//*[@id="su"]//@value‘)
输出：百度一下

　好，可以，没问题。

试一下打印”新闻“。网页源码上 新闻、地图、贴吧.... 这些<a>标签都在一个id为"u_sp"的div下，那么：

res = html.xpath(‘//*[@id="u_sp"]/a[1]//text()‘)

　这样写，能输出”新闻“在理论上是没错的，但我特喵搞了好久，啊喂怎么老是空啊？

id不行我试试class吧，这几个<a>标签的class都是”mnav"，

res = html.xpath(‘//*[@class="mnav"]//text()‘)

输出：[‘新闻‘, ‘hao123‘, ‘地图‘, ‘视频‘, ‘贴吧‘, ‘学术‘]

res = html.xpath(‘//*[@class="mnav"]//text()‘)[0]

输出：[‘新闻‘]

看来，class可以，那id为什么不行，也不是所有的id不行，刚才“百度一下”就可以的啊。

看了一下打印出来的抓取的页面代码，？？？？id什么时候成了"u1"了，谷歌浏览器查看源码明明是“u_sp”啊！

于是，

res = html.xpath(‘//*[@id="u1"]/a[1]//text()‘)

　输出：[‘新闻‘]

 

 

学习之路漫长......