一款牛掰的Java爬虫框架（高度灵活可配置）
Posted 爱上纯净的蓝天
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一款牛掰的Java爬虫框架（高度灵活可配置）相关的知识，希望对你有一定的参考价值。
介绍
平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台
特性
-
支持Xpath/JsonPath/css选择器/正则提取/混搭提取
-
支持JSON/XML/二进制格式
-
支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
-
支持爬取JS动态渲染(或ajax)的页面
-
支持代理
-
支持自动保存至数据库/文件
-
常用字符串、日期、文件、加解密等函数
-
支持插件扩展(自定义执行器，自定义方法）
-
任务监控,任务日志
-
支持HTTP接口
-
支持Cookie自动管理
-
支持自定义函数
插件
-
Selenium插件
-
Redis插件
-
OSS插件
-
Mongodb插件
-
IP代理池插件
-
OCR识别插件
-
电子邮箱插件
-
微信搜索公众号：架构师指南，回复：架构师 领取资料 。
项目部分截图
爬虫列表
爬虫测试
Debug
日志
免责声明
请勿将spider-flow应用到任何可能会违反法律规定和道德约束的工作中,请友善使用spider-flow，遵守蜘蛛协议，不要将spider-flow用于任何非法用途。
如您选择使用spider-flow即代表您遵守此协议，作者不承担任何由于您违反此协议带来任何的法律风险和损失，一切后果由您承担。
开源地址
以上是关于一款牛掰的Java爬虫框架（高度灵活可配置）的主要内容，如果未能解决你的问题，请参考以下文章