下载推特搜索页面的问题

Posted 2023-02-16

【中文标题】下载推特搜索页面的问题

【英文标题】：Problem in downloading twitter search pages

【发布时间】：2011-06-15 21:09:17

【问题描述】：

我正在尝试一个小程序来下载网页并收集一些数据。 该程序适用于大多数网页。但是，在下载 Twitter 搜索结果时存在问题。 下载程序似乎只得到twitter主页。我正在使用 WinInet 进行下载。

注意到 Twitter 使用“#!”在其网址中。 (www.twitter.com/#!/...)。跟这个有关系吗？

感谢有关如何处理此问题的任何建议。

谢谢

【问题讨论】：

为什么这被标记为“C++”？听起来像是 wget + bash 脚本的完美工作，或者 Perl 和 Perl::curl...？

【参考方案1】：

如果你想从 Twitter 收集一些数据，你应该使用他们的API。

【讨论】：

感谢您的回复。我最近在更多页面中遇到了这些 hashbang。即使是普通的谷歌搜索页面似乎也有 hashbang。是否有一些特定的方法可以下载这些页面？是否有任何下载库可以处理这个问题？

【参考方案2】：

只需删除 hashbang 就可以了。但是，使用 API 更合适。

【参考方案3】：

您可能会成为缓存的受害者，尤其是 URL 中带有 # 的情况。尝试 INTERNET_FLAG_RELOAD |用于 HttpOpenRequest 或 InternetOpenURL 中的 dwFlags 的 INTERNET_FLAG_NO_CACHE_WRITE（忽略缓存并从网络重新加载 | 不费心将响应写入缓存）。 您也可以尝试 URLEncoding #。