用python第三方库requests抓取淘宝搜索结果页面，response并不是html结构。。

Posted 2023-03-19

怎么得到html

您好，首先，sys.setdefaultencoding is evil。
其次，不会用 Requests 就去看文档，不要乱来。
如果 Requests 检测不到正确的编码，那么你告诉它正确的是什么：
response.encoding = 'gbk'
print response.text
原始内容在 response.content 里，bytes，自己想怎么处理就怎么处理。

单个请求完全没必要用 Session。直接 requests.get(xxx) 就可以了。
最后，弄不明白怎么处理编码错误的字符串就仔细想想，或者用 Python 3.x，不要散弹枪编程。
以下是 Python 3。Python 2 在那个字符串前加个 u 告诉它是 unicode 也一样。追问

好吧 可能是我的描述有问题
我希望返回的是网页源代码 不是编码的问题

参考技术A 那是动态网页，不能用这种方法，要是能直接response，那淘宝的反爬虫部门还混个毛线啊。 参考技术B 这个要使用python生成html哦， 不是自动生成的哦， 能看看wo 的网名吧？》一定能解决的哦！！

python爬虫求一个只用requests库和beautifulsoup库抓取淘宝目录页面内容的框架。。自己抓不出来。绝望。

如果方便的话，能不能写一下步骤的大概意思。。。现在写的一直重复抓同一个东西。。看了人家的还是迷迷糊糊的。。如果淘宝这些库不能解决的话。。抓个类似的。网站目录也行。。就是想练习一下，类似淘宝这种html页面比较复杂的这种。

参考技术A

可以将网页下载下来先练习 BeautifulSoup 的解析。

requests  请求也是一样先各个击破的学习。

淘宝的请求回来的页面 html 没有目录数据，是因为有可能他们的页面渲染是通过 JS 来渲染的，所以你只用 BeautifulSoup 是不行的。需要使用其他支持 JS 的库。

追问

如果爬京东这种，爬取那些职业类型，薪水什么的，只用这两个，应该怎么爬，之前爬了一次，但是一直在单独循环爬爬取到的第一个。。。

追答

尽量模拟真实用户的请求行为吧。毕竟它总会响应用户请求的。
比如我上面说的尝试一下一些支持 JS 的库。

参考技术B 我最近在写淘宝爬虫，只用requests库：登录目前解决了，基本100%登录。
就是爬取pc网页时太频繁会出现滑块验证码，我试了好多次最多爬到2000条数据，只用requests库很难解决淘宝的滑块验证！
爬取淘宝遇到的问题太多了，各种反扒。。。。
教程这几天就写出来了，你可以关注我的vx公号：「裸睡的猪」，回复：淘宝 获取教程 参考技术C 京东比较好爬，只要有个user-agent的请求头就能爬取，淘宝的话比较难，因为反爬做的很好追问

可以写个爬京东的例子么。想看一下示范。非常感谢，自己琢磨不出来了。。绝望。。

追答

嗯⊙∀⊙！要不要加个好友讨论一下

追问

好的，感谢大佬!QQ方便么

追答

私信啦

追问

好的，非常感谢

参考技术D 淘宝的话有防采集，你要采集的话第一步要先模拟登录，然后可以通过开发者工具获取请求接口。 第5个回答  2019-03-19 淘宝的话比较难，因为反爬做的很好