python 爬虫抓取今日头条街拍图片

Posted 2020-10-09

1. 打开google浏览器，输入www.toutiao.com, 搜索街拍。

2.打开开发者选项，network监看加载的xhr, 数据是ajax异步加载的，可以看到preview里面的data数据

3.下拉刷新查看加载的offset，每次加载20条数据，data是json数据，里面的article_url,是图集详情页的url。

4.首先抓取索引页的内容

　　data数据来自于索引页的请求都里面的query str

 1 # 提取索引页的数据
 2 def get_page_index(offset, keyword):
 3     data = {
 4         ‘offset‘: offset,
 5         ‘format‘: ‘json‘,
 6         ‘keyword‘: keyword,
 7         ‘autoload‘: ‘true‘,
 8         ‘count‘: 20,
 9         ‘cur_tab‘: 1
10     }
11     # 向路由中出入参数, 构建完整url
12     url = ‘http://www.toutiao.com/search_content/?‘ + urlencode(data)
13     try:
14         response = requests.get(url)
15         if response.status_code == 200:
16             return response.text
17         return None
18     except RequestException:
19         print(‘请求索引页出错‘)
20         return None

5. 接下来是解析索引页的数据，提取出所需要的详情页的url，索引页的data是json数据，里面的article_url,是图集详情页的url。

 1 # 解析索引页的json数据(Preview)，并提取详情页url
 2 def parse_page_index(html):
 3     try:
 4         data = json.loads(html)
 5         if data and ‘data‘ in data.keys():
 6             for item in data.get(‘data‘):
 7                 # 用生成器的方式,惰性获取详情页的url
 8                 yield item.get(‘article_url‘)
 9     except JSONDecodeError:
10         pass

6. 有了详情页的url，接下来就是获取详情页的数据和代码了

 1 # 获取详情页面的数据代码
 2 def get_page_detail(url):
 3     try:
 4         response = requests.get(url, timeout=5)
 5         if response.status_code == 200:
 6             return response.text
 7         return None
 8     except RequestException:
 9         print(‘请求详情页出错‘, url)
10         return None

7. 接着就是解析详情页面，并提取title, 和图片url, 详情页代码数据在Doc中查看, 注意提取的是组图，非组图被过滤了.url_list 是指三个地址都是图片的地址，我们只要有一个原始的url就可以了。
　　以某个详情页为例，在浏览器中输入http://www.toutiao.com/a6473742013958193678/。开发者选项，network, Doc

 1 # 解析详情页面并提取title, 和图片url
 2 def parse_page_detail(html, url):
 3     soup = BeautifulSoup(html, ‘lxml‘)
 4     title = soup.select(‘title‘)[0].get_text()
 5     print(title)
 6     images_pattern = re.compile(r‘gallery: (.*?),\\n‘)
 7     result = re.search(images_pattern, html)
 8     if result:
 9         # 将json数据转换为python的字典对象
10         data = json.loads(result.group(1))
11         if data and ‘sub_images‘ in data.keys():
12             sub_images = data.get(‘sub_images‘)
13             images = [item.get(‘url‘) for item in sub_images]
14             for image in images: download_image(image)
　　　　　　　　　# 返回标题，此详情页的url,和图片url列表
15             return {
16                 ‘title‘: title,
17                 ‘url‘: url,
18                 ‘images‘: images
19             }

8. 把解析提取的数据存储到mongodb中，以字典的方式.

　　先写个mongo的配置文件config.py

1 MONGO_URL = ‘localhost‘
2 MONGO_DB = ‘toutiao‘
3 MONGO_TABLE = ‘toutiao‘
4 
5 GROUP_START = 0
6 GROUP_END = 20
7 
8 KEYWORD = ‘街拍‘

　　然后连接本地mongo，存储数据

1 client = pymongo.MongoClient(MONGO_URL, connect=False) # connect=False防止多线程在后台多次连接mongo数据库
2 db = client[MONGO_DB]
3 
4 # 把详情页面的url和标题（title)以及组图的地址list保存到mongo中
5 def save_to_mongo(result):
6     if db[MONGO_TABLE].insert(result):
7         print(‘存储到MongoDB成功‘, result)
8         return True
9     return False

9. 下载图片

 1 # 下载图数据，并保存图片
 2 def download_image(url):
 3     print(‘正在下载‘, url)
 4     try:
 5         response = requests.get(url)
 6         if response.status_code == 200:
 7             # response.content 为二进制数据
 8             save_image(response.content)
 9         return None
10     except RequestException:
11         print(‘请求图片失败‘, url)
12         return None
13 
14 
15 # 保存图片
16 def save_image(content):
17     # 使用md5生成加密名字，同时防止相同的图片重复下载
18     file_path = ‘{0}/{1}.{2}‘.format(os.getcwd(), md5(content).hexdigest(), ‘jpg‘)
19     if not os.path.exists(file_path):
20         with open(file_path, ‘wb‘) as f:
21             f.write(content)

10. 爬虫主函数

1 def main(offset):
2     html = get_page_index(offset, KEYWORD)
3     for url in parse_page_index(html):
4         html = get_page_detail(url)
5         if html:
6             result = parse_page_detail(html, url)
7             if result: save_to_mongo(result)

11. 开启多进程

1 if __name__ == ‘__main__‘:
2     groups = [x * 20 for x in range(GROUP_START, GROUP_END)]
3     pool = Pool()
4     pool.map(main, groups)

12. 需要的库函数

 1 import requests
 2 import re
 3 import pymongo
 4 from urllib.parse import urlencode
 5 from requests.exceptions import RequestException
 6 from json.decoder import JSONDecodeError
 7 from bs4 import BeautifulSoup
 8 import json
 9 import os
10 from hashlib import md5
11 from config import *
12 from multiprocessing import Pool

 

 完整代码： https://github.com/huazhicai/Spider/tree/master/jiepai