通过 Mechanize 抓取并提交表单。如何查看传递的参数?

Posted

技术标签:

【中文标题】通过 Mechanize 抓取并提交表单。如何查看传递的参数?【英文标题】:Scraping and submitting a form via Mechanize. How do I see the parameters passed? 【发布时间】:2013-10-19 15:37:46 【问题描述】:

我正在抓取亚马逊表单并提交。当我通过我的代码提交表单时,它会将我退回到同一个表单,没有错误,但显然出了点问题。我的预感要么是 SSL,要么不是 session_id

无论如何,我想检查 POST 请求以查看它的外观,并将其与我通过浏览器中的 UI 发出请求时返回的 Charles 进行比较。

【问题讨论】:

【参考方案1】:

只需通过 Charles 代理请求:

agent.set_proxy 'localhost', 8888

您可能还需要:

agent.verify_mode = OpenSSL::SSL::VERIFY_NONE

【讨论】:

以上是关于通过 Mechanize 抓取并提交表单。如何查看传递的参数?的主要内容,如果未能解决你的问题,请参考以下文章

Ghost.py 返回表单列表

如何使用 mechanize gem 抓取图像的图标链接

Python // 机械化 // 找不到表单

使用 Mechanize 进行抓取,遇到 HTTP 错误 403

是否有与 Perl 的 WWW::Mechanize 等效的 PHP?

Python Mechanize 选择一个没有名字的表单