如何使用 talend 中的 tmysql 行将唯一行从数据库加载到数据仓库中
Posted
技术标签:
【中文标题】如何使用 talend 中的 tmysql 行将唯一行从数据库加载到数据仓库中【英文标题】：how to load unique rows into data warehouse from database using tmysql rows in talend 【发布时间】：2017-07-15 22:12:33 【问题描述】：样本输入数据：
city state country
boston MA US
chennai TN India
boston MA US
我需要在数据仓库中加载的输出：
city state country
boston MA US
chennai TN India
我不想在 talend 中使用 tunite 或 tuniquerow 组件。
【问题讨论】：
【参考方案1】：如果您使用自定义 SELECT 语句从 mysql 加载，您可以使用 DISTINCT 关键字来获取每个行组合的一个实例。
例如：
SELECT DISTINCT city, state, country FROM mytable
【讨论】：
以上是关于如何使用 talend 中的 tmysql 行将唯一行从数据库加载到数据仓库中的主要内容，如果未能解决你的问题，请参考以下文章
使用Talend中的tHiveRow组件运行多个配置单元查询
Talend - tmap - 表达式过滤器 - 如何过滤值列表