xpath爬顶点页面信息

Posted 诡道!!!

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了xpath爬顶点页面信息相关的知识,希望对你有一定的参考价值。

# encoding:utf8
import requests # Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。
from lxml import etree # 引用etree处理网页源代码会默认修改编码,解析成xpath能解析的编码
import mysql.connector

db = mysql.connector.connect(user=‘root‘, password=‘12345678‘, host=‘127.0.0.1‘, port=‘3306‘, db=‘xp_xiaoshuo‘)
cursor = db.cursor()

content = requests.get(‘http://www.23us.so/list/1_1.html‘).content.decode(‘utf8‘) # 获取网页源码并转为utf8编码格式
# print(content)
lxmls = etree.HTML(content) # 当成response使用;这段代码就是支持xpath的属性


#注意:以前用的是//*[@id="content"]/dd[1]/table/tr[2]/td[1]/a/text(),只匹配到一行,去掉tr[2],就匹配到整个页面的信息
title = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[1]/a/text()‘) # 文章
sections = lxmls.xpath(‘//*[@id="content"]/dd[1]/table/tr/td[2]/a/text()‘) # 最新章节
author = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[3]/text()‘) # 作者
zijie = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[4]/text()‘) # 字节
gengxin = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[5]/text()‘) # 更新
zt = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[6]/text()‘) # 状态

for i in range(len(title)):
print(title[i], sections[i], author[i], zijie[i], gengxin[i], zt[i])
sql = "insert into xp_table(`title`,`sections`,`author`,`zijie`,`gengxin`,`zt`)VALUES (‘%s‘,‘%s‘,‘%s‘,‘%s‘,‘%s‘,‘%s‘)" % (
title[i], sections[i], author[i], zijie[i], gengxin[i], zt[i])
cursor.execute(sql)
db.commit()

以上是关于xpath爬顶点页面信息的主要内容,如果未能解决你的问题,请参考以下文章

(Scrapy框架)爬虫获取豆瓣正在热映的电影信息,xpath属性爬取 | 爬虫案例

Python爬虫爬取糗事百科(xpath+re)

Python 爬虫小练习:基于 XPath 的表格信息爬取

Python 爬虫小练习:基于 XPath 的表格信息爬取

Python 2.7_利用xpath语法爬取豆瓣图书top250信息_20170129

Python爬虫:通过爬取CSDN博客信息,学习lxml库与XPath语法