如何防止 HttpWebRequest 长时间响应超时 Azure Web App

Posted

技术标签:

【中文标题】如何防止 HttpWebRequest 长时间响应超时 Azure Web App【英文标题】:How To Prevent HttpWebRequest with long response from timing-out Azure Web App 【发布时间】:2015-08-13 00:36:56 【问题描述】:

我们在 C# 中使用 HttpWebRequest 从 Azure Web 应用程序中的 Internet 资源获取数据。问题是 Azure 对保持连接活动的时间有限制 (around 240 seconds)。由于我们应用程序的性质,响应有时会超过 240 秒。出现这种情况时,网页会变白,“查看源代码”会显示零源代码(这使得该问题难以调试)。

这里有一些示例代码来说明:

        webRequest = WebRequest.Create(PAGE_URL) as HttpWebRequest;
        webRequest.Method = "POST";
        webRequest.ContentType = "application/x-www-form-urlencoded";
        webRequest.CookieContainer = cookies;
        webRequest.Timeout = Timeout.Infinite;
        webRequest.KeepAlive = true;
        StreamWriter requestWriter2 = new
            StreamWriter(webRequest.GetRequestStream());
        requestWriter2.Write(postString); 
        requestWriter2.Close();
        WebResponse response = webRequest.GetResponse();
        Stream stream = response.GetResponseStream();

添加 webRequest.Timeout 和 webRequest.KeepAlive 并没有解决问题。

this thread 上的 jbq 提到他有一个解决方法,即“每 5 秒发送一个换行符”,但没有解释 如何 准确地完成此操作。他回答了一个关于 Azure VM 的问题,但我认为 Azure Web 应用程序在我认为负责超时的负载均衡器方面会有类似的行为。

问题: 如何发送一个 HttpWebRequest,然后在前一个正在运行时发送另一个 HttpWebRequest 以保持连接并防止 Azure 负载均衡器(?)超时 azure 应用程序?是否需要使用新的会话变量?也许是异步方法?我需要在主请求之前发送“ping”请求吗?如果是这样,这在实施中会如何?还是完全是别的东西?请提供一些源代码作为示例:)

注意:您确实不需要需要使用 HttpWebRequest 来复制此问题。将 Visual Studio 中的调试器附加到实时 Azure Web 应用程序。在 Visual Studio 中的任意一段代码处放置一个断点。当该断点被击中时,大约 4 分钟后,您将看到浏览器中的页面停止加载并变白并显示一个空源。因此,它与 HttpWebRequest 没有特别的关系,但这是一个通常会导致此类问题的操作,因为某些响应需要超过 4 分钟。

*编辑:我认为我正在寻找的是异步方法的实现。当我找到令人满意的实现时,我会更新这篇文章。

【问题讨论】:

如果您的请求需要很长时间才能返回,请尝试将其转换为异步 Web 请求。 哈哈@ZainRizvi 疯狂的巧合,我刚刚更新了我的帖子,认为基于我一直在阅读的信息,异步 Web 请求将是最有可能的解决方案。感谢您的评论。 【参考方案1】:

如果您正在向 Azure 网站发出 HttpWebRequest,那么您在使用 HttpWebRequest 的客户端代码上使用 ServicePointManager.SetTcpKeepAlive。

https://msdn.microsoft.com/en-us/library/system.net.servicepointmanager.settcpkeepalive(v=vs.110).aspx

您所说的 4 分钟超时是 TCP 层上的 IDLE 超时,设置此值将确保您的客户端(正在使用 HttpWebRequest)通过 TCP 发送 ACK 数据包,以便连接不会闲着。

如果您的 Web 应用程序正在向其他服务发出 HttpWebRequest,您仍然可以使用此函数,但这只会确保在调用远程服务时不会遇到空闲超时。您对 Azure Web 应用程序的实际 HTTP 请求可能仍会达到 4 分钟的时间,如果您的 Azure Web 应用程序的客户端不是 HttpWebRequest,那么 4 分钟空闲超时将再次困扰您...

这里最好的做法是稍微更改代码以实现一种 JOB 模型类型的模式,在这种模式中,您进行一个返回 JOBID 的服务器调用。然后,客户端以轮询方式使用此 JOBID 查询服务器,当作业在服务器上完成时,此 JOBID 的状态可以设置为 COMPLETED,在这种情况下,客户端可以检索数据。您可以使用 Azure Webapps 中的 Webjobs 来实现类似的目标。

希望这会有所帮助...

【讨论】:

以上是关于如何防止 HttpWebRequest 长时间响应超时 Azure Web App的主要内容,如果未能解决你的问题,请参考以下文章

如何防止 Elastic Beanstalk 上长时间运行的作业在不阻止缩减的情况下终止?

如何使用 python 烧瓶防止 230 秒 azure 网关超时以进行长时间运行的工作负载

PayPal API 需要很长时间才能响应

使用查询调控器防止查询长时间运行

如何防止 HttpWebRequest 的数据包碎片

如何针对长时间执行的脚本关闭闪存保护?