一个简单的爬虫程序

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一个简单的爬虫程序相关的知识,希望对你有一定的参考价值。

#!/usr/bin/env python
#coding:utf-8
import urllib, re
def gethtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImage(html):
    reg = r‘src="(.+?\.jpg)"‘
    imgre = re.compile(reg)
    imglist = re.findall(imgre, html)
    #return imglist
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl, ‘%s.jpg‘ % x)
        x += 1
html = getHtml("https://baike.baidu.com/pic/%e5%bc%a0%e9%9f%b6%e6%b6%b5/148008/19671396/203fb80e7bec54e7fb488382be389b504ec26a82?fr=lemma&ct=cover#aid=19671396&pic=203fb80e7bec54e7fb488382be389b504ec26a82")
getImage(html)

这个脚本会爬取页面上的照片,并且给照片重命名,保存在当前的目录中。


本文出自 “自定义” 博客,谢绝转载!

以上是关于一个简单的爬虫程序的主要内容,如果未能解决你的问题,请参考以下文章

一个简单的进程池版的爬虫程序

python初尝试,写一个简单的爬虫程序

使用webmagic搭建一个简单的爬虫

Scrapy 一个简单快速可扩展的爬虫框架

爬虫基础以及一个简单的实例

使用webmagic搭建一个简单的爬虫