腾讯发布了一款可视化爬虫工具

Posted 2020-11-25 xuehuiping

打造轻量级可视化数据爬取工具-菩提
https://mp.weixin.qq.com/s/TBYcWxT6MSAgI6Y4g53TNA

scrapy 是一个非常优秀的开源框架，但是需要编码，使用技术门槛较高，跟我们的初衷不符；
portia 是应该是第一个开源的可视化 web 数据爬取工具，想法非常好，但是仅支持静态网页，没有对动态网页提供支持，在几乎全是动态网页的今天明显不能完成大多数页面的提取；
八爪鱼是国内使用量最大的商业数据爬取工具之一，提供客户端，其免费版无法做到大规模、7*24 小时的持续爬取，无法满足工业化应用；

• 参考https://blog.csdn.net/Tencent_TEG/article/details/103707723

• 没有找到可用的入口

---

后羿采集器 http://www.houyicaiji.com
前谷歌技术团队倾力打造，基于人工智能技术，只需输入网址就能自动识别采集内容

• 看起来不错的样子，收费~
• 果然优秀的东西都不免费