NodeJs：获取分页获取请求

Posted 2023-03-07

【中文标题】NodeJs：获取分页获取请求

【英文标题】：NodeJs: Getting paginated get requests

【发布时间】：2018-04-06 00:15:22

【问题描述】：

当从 stackexchange API 请求问答时，JSON 响应有一个 has_more（布尔）参数，当它为真时，这意味着可能有更多的请求

http://api.stackexchange.com/2.2/questions?order=desc&sort=activity&site=***&filter=withbody&pagesize=30&tagged=java&page=1

响应看起来像这样

items: [
      ..]
 has_more: true,
 quota_max: 300,
 quota_remaining: 281

我想要在保持 quota_max 限制的同时获取所有可能的响应的最佳方式。 到目前为止，我的模块能够得到一个结果：

exports.getQuestions = function(q,tag,page)
return new Promise(function(resolve, reject)

var request = require('request');
var url = 'http://api.stackexchange.com/2.2/search?order=desc&sort=votes&site=***&filter=withbody&pagesize=30';


url = url + '&q=' + q + '&tagged='+ tag + "&page="+page;

request(headers: 
    'Accept': 'application/json; charset=utf-8',
    'User-Agent': 'RandomHeader'
         ,
     uri: url,
     method: 'GET',
     gzip: true
         ,
function(err, res, body) 
if (err || res.statusCode !=200)
            reject (err || statusCode: res.statusCode);
      
     resolve(body);
          );
)

但我想以适当的方式循环或拨打多个电话。任何帮助表示赞赏。

【参考方案1】：

您可以将 getQuestions 实现与 async await 结合使用，以继续循环请求页面，直到 has_more 为 false 或达到配额限制...

async function getAllQuestions(q,tag)
    var page = 0 
    var res = await getQuestions(q,tag,page)
    var all = [res]
    while(res.has_more && res.quota_remaining > 0)
        page++
        res=await getQuestions(q,tag,page)
        all.push(res)
    
    return all