如何用python实现爬虫抓取网页时自动翻页

Posted 2023-05-09

我把网页的第一篇内容抓取好了，但是用python怎么抓取后面的 又如何停止。 我在我抓取的网页代码中找到了 javascript:voidresult_page_down('/index.php?t=0&y=0&m=1&s=0&re=1&d=&ajax=1') /下一页。但是不知道如何使用它 求解答

看了你这个网站，下一页每次都不一样，每一页的链接也不一样，这种你靠分析肯定是不行的，因为你永远都不知道会出来什么内容，建议你用八爪鱼采集器，这是目前最好用的网页数据采集利器，解决这种问题很轻松的。 参考技术A 用爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求；
参考例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。 参考技术B url=“http://search.jiayuan.com/index.php?t=0&y=0&m=1&s=0&re=1&d=&ajax=1”

data='p':页码
用post方法提交追问

用post提交self._send_request(method, url, body, headers) 里面那个body就是页码？

本回答被提问者采纳

如何用python抓取百度地图数据

参考技术A 使用方法：
把代码保存成bmap.py
python bmap.py
或 python bmap.py 服饰厂
运行后会自动采集百度地图中所有的结果，保存为以tab分割的txt文件，方便导入各种数据库。本回答被提问者采纳