Python 爬虫实例

Posted 2020-08-20

下面是我写的一个简单爬虫实例

1.定义函数读取html网页的源代码

2.从源代码通过正则表达式挑选出自己需要获取的内容

3.序列中的htm依次写到d盘

#!/usr/bin/python
import re
import urllib.request

#定义函数读取html网页的源代码
def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html

#从源代码通过正则表达式挑选出自己需要获取的内容
def getImg(html):
    reg = r‘href="(.*?\\.htm)"‘
    imgre = re.compile(reg)
    implist = re.findall(imgre,html)

#序列中的htm依次写到d盘
    x = 0
    for imgurl in implist:
        urllib.request.urlretrieve(imgurl, ‘D:\\htm\\%s.htm‘ % x)
        x += 1



html = getHtml("http://www.10086.cn/hb/index_270_719.html")
html = html.decode(‘utf-8‘)
print(getImg(html))

　运行程序结果：