grequests异步请求

Posted qianxunman

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了grequests异步请求相关的知识,希望对你有一定的参考价值。

import grequests
from bs4 import BeautifulSoup
def get_title(rep):
    soup = BeautifulSoup(rep.text, 'html.parser')
    lis = soup.find('ol', class_='grid_view').find_all('li')
for li in lis:
        title = li.find('span', class_="title").text
print(title)
reps = (grequests.get('https://movie.douban.com/top250?start={}&filter='.format(i*25)) for i in range(10))
for rep in grequests.map(reps):
    get_title(rep)

复制代码

以上是关于grequests异步请求的主要内容,如果未能解决你的问题,请参考以下文章

Python学习---IO的异步[gevent+Grequests模块]

进行异步 API 调用时如何限制 Grequests?

如何错开异步 API 调用以防止使用 grequests 库进行最大重试?

Python使用grequests并发发送请求

grequests模块

Flask 的异步调用方法