今日头条图片ajax异步加载爬取，并保存至mongodb，以及代码写法的改进

Posted 2021-01-08 cwkcwk

import requests,time,re,json,pymongo
from urllib.parse import urlencode
from requests.exceptions import RequestException
from bs4 import BeautifulSoup as bs

#连接mongodb
client = pymongo.MongoClient(host=‘localhost‘,port=27017)
#指定数据库名称
db = client.toutiao

#应对反扒机制， 不加useragent 爬取不到内容
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
 }

def get_page_index(offset,keyword):
    #传递参数 需要传递一个字典格式  #通过分析发现异步加载需要改变 offset这个参数
    data = {
        "offset": offset,
        "format": "json",
        "keyword": keyword,
        "autoload": "true",
        "count": 20,
        "cur_tab": 1,
        "from": "search_tab",
    }

    #urlencode 可以将字典类型转换为请求参数
    url = "https://www.toutiao.com/search_content/?" + urlencode(data)
    #url = "https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&cur_tab=1&from=search_tab"
    try:
        rsp = requests.get(url,headers=headers)
        if rsp.status_code == 200: #如果等于200 访问成功
            #print(rsp.text)
            return rsp.text
        else:
            #print(1)
            return None
    except RequestException:  ###需要了解的内容
        print("请求出现错误")
        return None

#运行main()后 发现返回数据都是json数据 设置解析函数
def parse_page_index(html):
    data =json.loads(html)
    if data and "data" in data.keys(): #如果确实取回json数据
        #用生成器的方法
        for item in data.get("data"):
            yield item.get("article_url")# and item.get("title")
            #yield item.get("title")

#进入每个标题页面 进行解析
def get_page_detail(url):
    try:
        rsp = requests.get(url,headers=headers)
        if rsp.status_code == 200: #如果等于200 访问成功
            #print(rsp.text)
            return rsp.text
        else:
            #print(1)
            return None
    except RequestException:  ###需要了解的内容
        print("请求出现错误",url)
        return None

def parse_page_detail(html,url):
    #提取出标题
    title = re.compile(r"title: ‘(.*?)‘,",re.S).findall(str(html))
    title = "".join(title)

    #提取标题下每个图片的地址
    image_url_list = re.compile(r‘http://p(.*?)&quot‘,re.S).findall(str(html))
    IMG_LIST = []
    for i in image_url_list:
        image_url = "http://p"+ i
        IMG_LIST.append(image_url)

    return {
        "title":title,
        "url":url,
        "image_list":IMG_LIST
    }

#建立一个存储方法 来方便mongodb的存储
def save_to_mongo(focus_info):
    if db["toutiao"].insert(focus_info):
        print("存储成功")
        return True
    return False

def main():
    html = get_page_index(0,"街拍") #因为设置成函数，传递两个可变的变量，方便日后改变
    #print(html)

    #遍历提取生成器产生的每个标题链接
    for url in parse_page_index(html):
        #print(url)
        time.sleep(1)
        #将得到的标题url传入解析函数
        html = get_page_detail(url)
        #print(html)

        #将标题内的页面传入解析 得到标题 和照片地址的一个合集
        focus_info = parse_page_detail(html,url)
        #print(focus_info)

        save_to_mongo(focus_info)


main()

今日得空，发个代码记录一下，感觉自己在代码格式上有些许进步，比以前的代码更公正，可靠性也更强