响应较大时,从码头超出缓冲容量 2097152

Posted

技术标签:

【中文标题】响应较大时,从码头超出缓冲容量 2097152【英文标题】:Buffering capacity 2097152 exceeded from jetty when response is large 【发布时间】:2021-05-02 14:17:13 【问题描述】:

我有一个第三方应用程序,它使用码头库作为 HttpClient 来处理 web 服务调用。 我有以下码头库:

jetty-client-9.4.28.v20200408.jar
jetty-continuation-9.4.28.v20200408.jar
jetty-http-9.4.28.v20200408.jar
jetty-io-9.4.28.v20200408.jar
jetty-jndi-9.4.28.v20200408.jar
jetty-rewrite-9.4.28.v20200408.jar
jetty-security-9.4.28.v20200408.jar
jetty-server-9.4.28.v20200408.jar
jetty-servlet-9.4.28.v20200408.jar
jetty-servlets-9.4.28.v20200408.jar
jetty-util-9.4.28.v20200408.jar
[EDIT]
jersey-bean-validation-2.30.1.jar
jersey-client-2.30.1.jar
jersey-common-2.30.1.jar
jersey-container-jetty-http-2.30.1.jar
jersey-container-servlet-2.30.1.jar
jersey-container-servlet-core-2.30.1.jar
jersey-entity-filtering-2.30.1.jar
jersey-hk2-2.30.1.jar
jersey-jetty-connector-2.30.1.jar
jersey-media-jaxb-2.30.1.jar
jersey-media-json-jackson-2.30.1.jar
jersey-media-multipart-2.30.1.jar
jersey-server-2.30.1.jar

原来是第三方代码写的不对,而且这个版本的jetty,据我所知,响应缓冲区的大小默认设置为2MB。 可能是因为当 web 服务的响应超过 2MB 时,出现如下错误:

java.util.concurrent.ExecutionException: java.lang.IllegalArgumentException: Buffering capacity 2097152 exceeded: ==> javax.ws.rs.ProcessingException - java.util.concurrent.ExecutionException: java.lang.IllegalArgumentException: Buffering capacity 2097152 exceeded
      at: JettyConnector.apply(JettyConnector.java:269)
  - Cause: java.util.concurrent.ExecutionException - java.lang.IllegalArgumentException: Buffering capacity 2097152 exceeded
      at: FutureResponseListener.getResult(FutureResponseListener.java:118)
  - Cause: java.lang.IllegalArgumentException - Buffering capacity 2097152 exceeded
      at: BufferingResponseListener.onContent(BufferingResponseListener.java:124)

我的猜测是这是关于 FutureResponseListener 的缓冲区,因为它写在线程 Does Jetty's httpClient.setResponseBufferSize() method do anything? 中。

我希望能够在不更改使用码头的第三方代码的情况下更改/增加此缓冲区。 听说可以使用jetty.xml配置文件设置缓冲区大小,大概是这样的:

    <New id = "httpConfig" class = "org.eclipse.jetty.server.HttpConfiguration">
      <Set name = "????"> <Property name = "????" default = "8388608" /> </Set>
    </New>

我说的对吗?可以在我的情况下完成吗?将适当准备的 jetty.xml 文件放在类路径上是否足够?

[编辑] ...或者使用码头的 jersey-client(JettyConnector 对象)可能存在问题...

感谢您的帮助,

科利

【问题讨论】:

【参考方案1】:

我在尝试对 API 执行 GET 请求时也遇到了同样的错误,该 API 向我发送了大于缓冲区容量的流输出。

我发现使用 InputStreamListener 解决了这个问题。 (https://www.eclipse.org/jetty/javadoc/jetty-9/org/eclipse/jetty/client/util/InputStreamResponseListener.html)

下面是我的代码sn-p:

HttpClient httpClient = new HttpClient;
httpClient.start()
URI uri = UriBuilder.fromUri(URI.create(ENDPOINT)).path("v1/testPath").queryParam("testQueryParam","testValue").build();
InputStreamResponseListener listener = new InputStreamResponseListener();
httpClient.newRequest(uri).method(HttpMethod.GET).headers(httpFields -> httpFields.add("Authorization","Bearer "+token)).send(listener);
Response response =  listener.get(20, TimeUnit.SECONDS);
if(response.getStatus() == 200)
     //doSomething
    
httpClient.stop();

【讨论】:

以上是关于响应较大时,从码头超出缓冲容量 2097152的主要内容,如果未能解决你的问题,请参考以下文章

超出 HttpClient 缓冲区大小限制

打印性能优化[缓冲区大小角度]

打印性能优化[缓冲区大小角度]

打印性能优化[缓冲区大小角度]

打印性能优化[缓冲区大小角度]

打印性能优化[缓冲区大小角度]