从HttpServiceClient读取一个巨大的结果集并以块的形式显示它们

Posted 2021-04-10

我正在编写一个读取大量数据的Java APP：

try {
    //Build the URL
    getMethod = new GetMethod(url);
    SimpleHttpResponseParser parser = new SimpleHttpResponseParser();
    httpServiceClient.getRequest(...); //This takes about 10 minutes
    List<ApiMessage> messages = objectMapper.readValue(parser.getHttpResponse()); //Convert the JSON Response into actual Java Object
    for (ApiMessage m : messages) {
        convertedMessages.add(ApiMessageMapper.map(m)); //Add each message to a more suitable data set to be painted later
    }
    //Return the data and such ...
}

这个请求需要花费太长时间来处理它。我不希望用户等待超过10分钟才能看到结果。

有没有办法按结果集50左右绘制并继续在后台下载剩余数据？

答案

尝试实现分页。通常，服务器允许通过指定offset和limit返回有限数量的结果。

在第一个电话集

offset=0
limit=50

在接下来的电话

offset=51
limit=50

等等...

另一种方法是使用WebSockets使用服务器推送，但它将是一个更复杂的实现。