Scrapy - 使用网站的搜索引擎来搜索结果

Posted 2021-04-07

我必须在网站上查看搜索结果。问题是，当您在该网站上搜索某些内容时，该URL不会更改，这意味着我无法使用该URL来获取我想要的结果。

我的问题是，Scrapy可以设置我需要的过滤器，搜索结果，然后查看搜索的所有结果吗？

如果有，怎么样？如果不是，你知道使用Python或其他东西可以做到的事情吗？

谢谢

答案

如果搜索词未反映在URL中，则表示它作为POST请求传输到服务器。这意味着您的Scrapy代码还需要发出POST请求才能提交所需的搜索词。

Scrapy request documentation有一个用于发出POST请求的示例，模拟表单提交：

return [FormRequest(url="http://www.example.com/post/action",
                formdata={'name': 'John Doe', 'age': '27'},
                callback=self.after_post)]