有没有人爬过东方财富股吧 爬虫

Posted 2023-03-17

参考技术A 爬过，不是很难，我用的是前嗅爬虫。
操作上很轻松，全都是可视化的操作，有一些地方不明白请教客服很耐心的解答。后来将我所有想要的信息都采集下来了。
之后又跟前嗅合作了几个网站，直接买的他们的配置，配置好了我拿来一用就可以采集了，非常方便。

东方财富爬虫url次数最大

参考技术A 打开几个帖子，会发现帖子url都含有/new标识，有的url则不是这样，因此我们提取出以后判断一下href属性取出的值是否是这个标识。
进入帖子详情页，找一些评论数多的帖子，观察翻页规律，评论过30条会翻页，同时还需要对评论中没有评论的只有图片的评论进行处理。这样整体上发现规律需要在帖子列表页根据评论数计算出每个帖子请求的总次数，进行遍历，生成所有评论的url请求，传递到帖子评论页面详情页的解析函数。