爬虫糗事百科图片代码

Posted lili414

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫糗事百科图片代码相关的知识,希望对你有一定的参考价值。

#在平常写代码的文件夹下新建一个image_spider的文件夹作为工程文件,并在此文件夹目录下新建一个image文件夹作为保存图片的文件

#抓取百科的图片
#访问url必须有http开头
import requests
import re

def crawl_image(image_url, image_local_path):
image_url = "http:"+image_url
r = requests.get(image_url,stream=True)
with open(image_local_path,"wb") as f:
f.write(r.content)

def crawl(page):
url = "https://www.qiushibaike.com/imgrank/page/" + str(page)
res = requests.get(url)
content_list = re.findall("<div class=\"thumb\">(.*?)</div>",res.content.decode("utf-8"),re.S)
for content in content_list:
image_list = re.findall("<img src=\"(.*?)\"",content)
# print(image_list)
for image_url in image_list:
crawl_image(image_url,"D:/Program Files/python/image_spider/image/" + image_url.strip().split(‘/‘)[-1])
#print("./image/" + image_url.strip().split(‘/‘)[-1])

if __name__ == ‘__main__‘:
crawl(1)

以上是关于爬虫糗事百科图片代码的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫爬取糗事百科段子内容

Python运用正则解析爬取糗事百科图片

python3 爬虫---爬取糗事百科

Python爬虫(十七)_糗事百科案例

Python selenium糗事百科

爬虫实战 爬取糗事百科