我从哪里开始使用网络机器人？ [关闭]

Posted 2023-03-13

【中文标题】我从哪里开始使用网络机器人？ [关闭]

【英文标题】：Where do I start with a web bot? [closed]

【发布时间】：2010-12-08 13:02:36

【问题描述】：

我只是想创建一个可以（最好）在网络服务器上运行的自动脚本，并且只需“点击”网页的对象。我是 Python 的新手或任何这将用于的语言，所以我想我会去这里询问从哪里开始！这看起来像是我希望脚本欺骗广告或做一些非法的事情，但它只是为了与另一个网站进行交互。

【问题讨论】：

投票结束，因为范围太广/工具推荐。

您可以为此使用“webbot”库。

【参考方案1】：

我推荐 Python mechanize 库。它旨在充当模拟浏览器。我已经用它从脚本驱动了几个 Web 界面。

【参考方案2】：

我建议使用 .NET 包的 WebBrowser 控件。您可以访问所有 DOM 元素并与任何网站进行完全交互。这是一个简短的article

如果您仍然喜欢 python，mechanize 可能是一个不错的选择。

【参考方案3】：

我可能会从Twill 开始——您可以使用它的脚本语言或 Python API。

【参考方案4】：

它不一定是 Python，我已经看到它是用 php 和 Perl 完成的，您可能可以用许多其他语言来完成它。 一般的做法是：

1) 你给你的应用一个 URL，它会向那个 URL 发出一个 HTTP 请求。我想我已经看到用 php/wget 完成了。可能有很多其他方法可以做到这一点。

2) 扫描您想要“单击”的其他 URL 的 HTTP 响应（实际上，向它们发送 HTTP 请求），然后向这些 URL 发送请求。解析链接通常需要对正则表达式有一定的了解（如果您不熟悉正则表达式，请复习一下——这很重要；））。