Linkedin 999请求被拒绝

Posted 2021-04-09

我不知道是否有人能够解决这个问题。在AWS服务器中，我们正在运行应用程序。我们提取网页上发表文章的内容。几乎所有内容都可以，但是Linkedin脉冲文章返回了999 Request Denied。

[我知道Linkedin已将AWS ip列入了黑名单，并且我正在指定要使用的用户代理。

但是有一种方法可以避免那个或任何端点api查询脉冲文章？

到目前为止，这是我的代码

var httpWebRquest = (HttpWebRequest)WebRequest.Create(new Uri("https://www.linkedin.com/pulse/time-c-suite-social-network-damian-corbet?trk=prof-post"));
httpWebRquest.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/43.0.2357.134 Safari/537.36";
var httpWebResponse = (HttpWebResponse)httpWebRquest.GetResponse();
...

和GetResponse抛出

远程服务器返回错误：（999）请求被拒绝

答案

LinkedIn不提供任何API端点来访问Pulse文章。此外，您应该了解，根据其服务条款的第8节，也明确禁止刮除该信息：https://www.linkedin.com/legal/user-agreement

另一答案

LinkedIn不允许直接访问。他们已将Heroku / AWS IP地址列入黑名单，访问数据的唯一方法是使用其API。如果要剪贴，可以从本地计算机或无头浏览器访问它。