如何刮内容？

Posted 2021-05-05

我创建了以下代码来获取内容：

import requests

r = requests.post(url='https://icecat.us/index.php/product/offers')

print r
print r.content

请求返回HTTP响应代码200确定。但是r.content是空的，因此没有检索到任何内容，即使Developer工具中的响应肯定不是空的。

我错过了什么？为什么内容未正确检索？

谢谢你的建议！

答案

request.get电话需要params，而不是data。 data是为request.post。

import requests

payload = {
    'num' : '37963146',
    'lang' : 'us',
    'offers_country' : '0'
}

r = requests.get(
    url='https://icecat.us/index.php/product/offers',
    params=payload,
    headers={
        'X-Requested-With': 'XMLHttpRequest'
    }
)

print r
print r.content

顺便说一下，我在Upwork上发布了这个帖子。