kettle 筛选数据 并根据关键字段去重 设计

Posted 2023-01-11 栗子~~

文章目录

• 前言
• • • kettle 筛选数据 并根据关键字段去重 设计
    • • 实现:
      • • 1、配置sqlite 数据库链接
        • 2、先从test表里抽取数据
        • 3、将表输入查询的数据插入到excel里
        • 4、将筛选出来的数据根据id去重
        • 5、插入本地excel
        • 6、ETL 整体效果:
        • 7、测试:

前言

  如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^ _ ^。
  而且听说点赞的人每天的运气都不会太差，实在白嫖的话，那欢迎常来啊!!!

---

kettle 筛选数据 并根据关键字段去重 设计

需求:
1)筛选test表 code=A 且delete_flag=0 和 code =B 且delete_flag=1 的数据
2)将筛选出来的数据存到本地excel_1
3)将筛选出来的数据根据id去重
4)将去重后的数据存到本地excel_2
设计整体效果:

数据:

实现:

1、配置sqlite 数据库链接

选择下面链接类型

填写下面url和驱动
自定义URL:jdbc:sqlite:D:\\soft\\sqliet\\test.db
自定义驱动类名称:

测试通过，并确定

2、先从test表里抽取数据

抽取code=A 且delete_flag=0的数据

抽取code =B 且delete_flag=1 的数据

3、将表输入查询的数据插入到excel里

4、将筛选出来的数据根据id去重

1)设置排序组件
----排序组件一定要用，要不然可能会有bug

2)使用复制类型节点链接

3)排序组件:

4)合并行标记 【合并记录组件】


Flag fieldname为标记比较结果的字段，结果有四种： identical、 changed、 new、 deleted，分别对应：完全相同、key相同value不同、key在旧数据源找不到、key在新数据源找不到

5)过滤重复的ID

5、插入本地excel

6)引入写日志组件

作用:

6、ETL 整体效果:

7、测试:

源数据:

执行后excel: