xpath爬顶点页面信息

Posted 2020-09-09 诡道！！！

# encoding:utf8
import requests  # Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。
from lxml import etree  # 引用etree处理网页源代码会默认修改编码，解析成xpath能解析的编码
import mysql.connector

db = mysql.connector.connect(user=‘root‘, password=‘12345678‘, host=‘127.0.0.1‘, port=‘3306‘, db=‘xp_xiaoshuo‘)
cursor = db.cursor()

content = requests.get(‘http://www.23us.so/list/1_1.html‘).content.decode(‘utf8‘)  # 获取网页源码并转为utf8编码格式
# print(content)
lxmls = etree.HTML(content)  # 当成response使用;这段代码就是支持xpath的属性


#注意：以前用的是//*[@id="content"]/dd[1]/table/tr[2]/td[1]/a/text()，只匹配到一行，去掉tr[2],就匹配到整个页面的信息
title = lxmls.xpath(‘   //*[@id="content"]/dd[1]/table/tr/td[1]/a/text()‘)  # 文章
sections = lxmls.xpath(‘//*[@id="content"]/dd[1]/table/tr/td[2]/a/text()‘)  # 最新章节
author = lxmls.xpath(‘  //*[@id="content"]/dd[1]/table/tr/td[3]/text()‘)  # 作者
zijie = lxmls.xpath(‘   //*[@id="content"]/dd[1]/table/tr/td[4]/text()‘)  # 字节
gengxin = lxmls.xpath(‘ //*[@id="content"]/dd[1]/table/tr/td[5]/text()‘)  # 更新
zt = lxmls.xpath(‘      //*[@id="content"]/dd[1]/table/tr/td[6]/text()‘)  # 状态

for i in range(len(title)):
    print(title[i], sections[i], author[i], zijie[i], gengxin[i], zt[i])
    sql = "insert into xp_table(`title`,`sections`,`author`,`zijie`,`gengxin`,`zt`)VALUES (‘%s‘,‘%s‘,‘%s‘,‘%s‘,‘%s‘,‘%s‘)" % (
        title[i], sections[i], author[i], zijie[i], gengxin[i], zt[i])
    cursor.execute(sql)
    db.commit()