python爬虫使用lxml解析数据编码乱码问题

Posted This_is_Y

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫使用lxml解析数据编码乱码问题相关的知识,希望对你有一定的参考价值。

问题状况:

response = requests.get(url=url, headers=headers).text
html = etree.HTML(response)
name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0]
print(name)

可以正常获取数据,但是结果是

已验证 安全 盾牌

这样子的乱码

解决方法:

name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0].encode(\'ISO-8859-1\').decode(\'UTF-8\')

这边的UTF-8根据网页编码情况而定

看网页编码情况

F12

 

 

以上是关于python爬虫使用lxml解析数据编码乱码问题的主要内容,如果未能解决你的问题,请参考以下文章

「python爬虫保姆级教学」urllib的使用以及页面解析

Python爬虫编程思想(39):使用lxml解析HTML与XML

爬虫—lxml提取数据

Python通过Lxml库解析网络爬虫抓取到的html

python网络爬虫爬取静态数据详解

Python 爬虫 BeautifulSoup4 库的使用