今日头条图片ajax异步加载爬取,并保存至mongodb,以及代码写法的改进

Posted cwkcwk

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了今日头条图片ajax异步加载爬取,并保存至mongodb,以及代码写法的改进相关的知识,希望对你有一定的参考价值。

import requests,time,re,json,pymongo
from urllib.parse import urlencode
from requests.exceptions import RequestException
from bs4 import BeautifulSoup as bs

#连接mongodb
client = pymongo.MongoClient(host=‘localhost‘,port=27017)
#指定数据库名称
db = client.toutiao

#应对反扒机制, 不加useragent 爬取不到内容
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
}

def get_page_index(offset,keyword):
#传递参数 需要传递一个字典格式 #通过分析发现异步加载需要改变 offset这个参数
data = {
"offset": offset,
"format": "json",
"keyword": keyword,
"autoload": "true",
"count": 20,
"cur_tab": 1,
"from": "search_tab",
}

#urlencode 可以将字典类型转换为请求参数
url = "https://www.toutiao.com/search_content/?" + urlencode(data)
#url = "https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&cur_tab=1&from=search_tab"
try:
rsp = requests.get(url,headers=headers)
if rsp.status_code == 200: #如果等于200 访问成功
#print(rsp.text)
return rsp.text
else:
#print(1)
return None
except RequestException: ###需要了解的内容
print("请求出现错误")
return None

#运行main()后 发现返回数据都是json数据 设置解析函数
def parse_page_index(html):
data =json.loads(html)
if data and "data" in data.keys(): #如果确实取回json数据
#用生成器的方法
for item in data.get("data"):
yield item.get("article_url")# and item.get("title")
#yield item.get("title")

#进入每个标题页面 进行解析
def get_page_detail(url):
try:
rsp = requests.get(url,headers=headers)
if rsp.status_code == 200: #如果等于200 访问成功
#print(rsp.text)
return rsp.text
else:
#print(1)
return None
except RequestException: ###需要了解的内容
print("请求出现错误",url)
return None

def parse_page_detail(html,url):
#提取出标题
title = re.compile(r"title: ‘(.*?)‘,",re.S).findall(str(html))
title = "".join(title)

#提取标题下每个图片的地址
image_url_list = re.compile(r‘http://p(.*?)&quot‘,re.S).findall(str(html))
IMG_LIST = []
for i in image_url_list:
image_url = "http://p"+ i
IMG_LIST.append(image_url)

return {
"title":title,
"url":url,
"image_list":IMG_LIST
}

#建立一个存储方法 来方便mongodb的存储
def save_to_mongo(focus_info):
if db["toutiao"].insert(focus_info):
print("存储成功")
return True
return False

def main():
html = get_page_index(0,"街拍") #因为设置成函数,传递两个可变的变量,方便日后改变
#print(html)

#遍历提取生成器产生的每个标题链接
for url in parse_page_index(html):
#print(url)
time.sleep(1)
#将得到的标题url传入解析函数
html = get_page_detail(url)
#print(html)

#将标题内的页面传入解析 得到标题 和照片地址的一个合集
focus_info = parse_page_detail(html,url)
#print(focus_info)

save_to_mongo(focus_info)


main()

今日得空,发个代码记录一下,感觉自己在代码格式上有些许进步,比以前的代码更公正,可靠性也更强















































































































以上是关于今日头条图片ajax异步加载爬取,并保存至mongodb,以及代码写法的改进的主要内容,如果未能解决你的问题,请参考以下文章

用Ajax爬取今日头条图片

用Ajax爬取今日头条图片集

分析Ajax爬取今日头条街拍美图

爬取今日头条中的图片

Python3网络爬虫开发实战 分析Ajax爬取今日头条街拍美图

头条 街拍