为什么C＃HttpClient不能调用此URL（总是超时）？

Question

我一直在开发一个确定网页信息的应用程序。其中一个组件涉及向URL发出HTTP GET请求，抓取html并对其进行分析。除了一个之外，我已经抛出了每个网址都可以正常运行...

罪魁祸首是.NET HttpClient似乎总是超时请求问题域中的任何URL。但是，浏览器请求的相同URL会在几毫秒内返回内容。没有任何关于标题似乎不寻常。

超时超时只会导致需要更长的时间才会被炸毁。我用同样的结果尝试了几分钟。我尝试了各种各样的东西，例如将用户代理字符串设置为Chrome的字符串，但无济于事。

有问题的域名是：http://careers.adidas-group.com注意同一站点也在https://careers.adidas-group.com上运行HTTPS（它有一个有效的证书）。使用任一协议都会导致相同的错误。

我可以用一个简单的C＃控制台应用程序来显示问题，如下所示：

static void Main(string[] args)
{
    string url = "http://careers.adidas-group.com";

    var client = new HttpClient
    {
        Timeout = TimeSpan.FromSeconds(10)
    };

    using (var message = new HttpRequestMessage(HttpMethod.Get, url))
    {
        using (var httpResponse = Task.Run(() => client.SendAsync(message)).Result)
        {
            Console.WriteLine("{0}: {1}", httpResponse.StatusCode, httpResponse.ReasonPhrase);
        }
    }

    Console.ReadLine();
}

请注意，在上面的示例中，我将超时设置为10秒，只是为了加快问题 - 但是，增加超时没有任何区别。

具有不同URL的相同代码（例如https://stackoverflow.com/）运行正常。

另请注意，上面的代码已简化为作为控制台应用程序运行。我的实际代码在异步MVC控制器方法中异步运行（使用await） - 我只是使用Task.Run(() => )使其与示例中的同步Main方法的上下文一起使用。但它对结果没有任何影响。（实际的例外是“任务被取消”，但似乎是超时的sympton，而不是实际问题）。

任何人都可以向我解释为什么会发生这种情况（这是关于服务器配置吗？）以及我可以做什么来使HttpClient满足请求？谢谢。

Answer 1

另一答案