python爬虫--案例分析

Posted 2021-05-29 行走在云端

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python爬虫--案例分析相关的知识，希望对你有一定的参考价值。

python爬虫常用的库：Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫

python爬虫最简单案例分析: 对一个html文件进行分解，获取里面想要的数据

<html lang="en">
<head>
    <meta charset="UTF-8"/>
    <title>测试bs4</title>
</head>
<body>
<div>
    <p>百里守约</p>
</div>

<div class="song">
    <p>李清照</p>
    <p>王安石</p>
    <p>苏轼</p>
    <p>柳宗元</p>
    <a href="http://www.song.com/" title="赵匡胤" target="_self">
        <span>this is span</span>
        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
    <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
    <img src="http://www.baidu.com/meinv.jpg" alt=""/>
</div>

<div class="tang">
    <ul>
        <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
        <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
        <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
        <li><a href="http://www.sina.com" class="du">杜甫</a></li>
        <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
        <li><b>杜小月</b></li>
        <li><i>度蜜月</i></li>
        <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
    </ul>
</div>
</body>
</html>

import requests
from lxml import etree

tree = etree.parse("E:\\odoo14\\odoo14\\myaddons\\demo.html")  # 获取html文件
tang_info = tree.xpath("//div[@class=\'tang\']/ul/li/a/text()") # 获取标签里的文本

print(\'tang_info\', tang_info)
# "tang_info [\'清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村\', \'秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山\', \'岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君\', \'杜甫\', \'杜牧\', \'凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘\']"

song_info = tree.xpath("//div[@class=\'song\']/p/text()")  #找到div的class 是song的，标签是p的文本
print(\'song_info\', song_info)
# 结果 "song_info [\'李清照\', \'王安石\', \'苏轼\', \'柳宗元\']"

song_src = tree.xpath("//div[@class=\'song\']/img/@src") #找 到div的class 是song的，的img属性

print(\'song_src\', song_src) # song_src [\'http://www.baidu.com/meinv.jpg\'] 

song_src_a = tree.xpath("//div[@class=\'song\']/a/text()")
print(\'song_src_a\', song_src_a) 
# song_src_a [\'\\n \', \'\\n 宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱\', \'总为浮云能蔽日,长安不见使人愁\']