在 Talend 中将所有 MYSQL 组件转换为 Greenplum 组件
Posted
技术标签:
【中文标题】在 Talend 中将所有 MYSQL 组件转换为 Greenplum 组件【英文标题】:Convert all MYSQL Components to Greenplum Components in Talend 【发布时间】:2021-09-14 15:03:47 【问题描述】:我的公司正在从 mysql 迁移到 Greenplum 数据库。
我们有许多工作通过 Talend 运行,我必须手动将每个组件从 MYSQL 更改为 Talend。
他们是否是一种更简单的方法,通过它可以直接转换所有组件,而不必单独转换每个组件?
【问题讨论】:
是的,您必须手动完成。我猜没有其他方法 您可以尝试手动修改项目文件。如果您可以将它们导入回来,那么您就成功了一半。风险自负。正常的数据库组件应该可以工作,但是查询等仍然需要修改,元数据连接可能会中断,等等。 【参考方案1】:对于 talend studio,我不确定是否有自动转换组件的方法,但您可以将凭据存储在 repo 中,以便相当容易地重新配置组件并使其成为一个相当简单的过程,您甚至可以创建通用任何 db 组件都可以使用的模式。
https://help.talend.com/r/en-US/7.3/repository-manager-user-guide/how-to-add-repository-connection
https://help.talend.com/r/en-US/7.3/studio-user-guide-data-fabric/setting-up-generic-schema-from-scratch
此外,这里还有一些额外的价值,在 talend 学院https://academy.talend.com/learn/register 上提供一些免费培训,您只需注册一个帐户即可。
【讨论】:
【参考方案2】:理论上,可以创建一个类似于现有任务的迁移任务: https://github.com/Talend/tdi-studio-se/tree/maintenance/7.3/main/plugins/org.talend.repository/
有许多现有的可以从中获取想法: https://github.com/Talend/tdi-studio-se/blob/maintenance/7.3/main/plugins/org.talend.repository/src/main/java/org/talend/repository/model/migration/RenametDBInputToPostgresqlMigrationTask.java
我自己从未尝试过,但我认为这应该是最灵活的方法。使用系统属性来启用/禁用它。您需要编译 org.talend.repository 插件,然后替换您工作室中的插件。
不要忘记删除 configuration/org.eclipse.osgi 文件夹,因为它缓存了插件,您的更改不会被拾取!
如果你卡住了,你也可以试试https://community.talend.com/
【讨论】:
以上是关于在 Talend 中将所有 MYSQL 组件转换为 Greenplum 组件的主要内容,如果未能解决你的问题,请参考以下文章
Talend Data Integration 中的选角日期
使用Talend中的tHiveRow组件运行多个配置单元查询