pipelinewise 基于singer 指南的的数据pipeline 工具
Posted rongfengliang
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了pipelinewise 基于singer 指南的的数据pipeline 工具相关的知识，希望对你有一定的参考价值。
pipelinewise 是基于开源singer 指南开发的数据pipeline工具，与singer tap 以及target 兼容
支持的特性
- 内置的elt 特性
- 轻量级
- 支持多种复制方法，cdc（基于log 的）基于key 的增量模式，全量
- 管理schema的变动
- 加载时的数据转换（可以方便进行数据脱敏,数据字段处理）
- 基于yaml的配置管理
- 可以集成外部工具
- 可扩展
说明
pipelinewise 基于singer 但是超越singer，简化了我们基于singer 开发的处理
参考资料
https://transferwise.github.io/pipelinewise/
https://github.com/transferwise/pipelinewise
https://github.com/singer-io/singer-python
https://github.com/singer-io/getting-started
以上是关于pipelinewise 基于singer 指南的的数据pipeline 工具的主要内容，如果未能解决你的问题，请参考以下文章
Singer 学习九 运行&&开发tapstargets (四 开发target)