Talend Open Studio - tssh 失去与主要工作的连接

Posted

技术标签:

【中文标题】Talend Open Studio - tssh 失去与主要工作的连接【英文标题】:Talend Open Studio - tssh losing connection to main job 【发布时间】:2021-05-06 16:45:47 【问题描述】:

Talend Open Studio for Data Integration,V7.2.1。

我正在开发一个使用 tssh 组件的 ETL 进程,以在远程服务器上执行 shell 脚本。远程服务器上的执行完成后,它会继续主机服务器上的进程。

如果远程服务器上的进程需要几分钟,talend 作业似乎可以正常工作,但如果远程服务器上的进程需要更长的时间(在这种情况下超过 1 小时),它就会挂起。即使在远程服务器上的进程完成后,主机服务器上的进程也不会继续。它不会抛出任何错误,但 java 进程似乎无限期地运行,没有任何实际进展。

我尝试了以下但没有成功 -

    我最初使用 onComponentOk 触发器将 tssh 组件连接到 tsystem 组件,没有任何超时设置。 我在 tssh 组件中添加了退出命令,在调用执行 shell 脚本之后,尝试关闭连接。 我在 tssh 组件中添加了超时设置,并在检查 exit_code 时使用 Runif 触发器将 tssh 连接到 tsytem。 ((整数)globalMap.get("tSSH_1_EXIT_CODE")) == 0

如果 tssh 花费的时间过长,该过程似乎会被冻结。任何帮助将不胜感激。

我找到了一个类似的帖子,但找不到解决方案 - tSSH-Talend blockes job from continuing Run

谢谢

【问题讨论】:

【参考方案1】:

问题可能与ssh服务器端的keepalive有关。

连接是否通过防火墙或 ***?

您可以尝试使用简单的 ssh 客户端连接,如果一个小时后您在客户端没有输入任何内容而断开连接,那是因为网络设备关闭了连接。

更多信息在这里 :) https://unix.stackexchange.com/questions/200239/how-can-i-keep-my-ssh-sessions-from-freezing

【讨论】:

以上是关于Talend Open Studio - tssh 失去与主要工作的连接的主要内容,如果未能解决你的问题,请参考以下文章

在 Talend Open Studio 中删除作业发布

Talend Open Studio:脚本语言与 Microsoft SSIS

tCosmosDBConnection 组件未在 Talend Open Studio for Data Integration 中显示

tMatchGroup 在 Talend Open Studio for Big Data 中的位置

如何使用 Talend Open Studio 处理数百万条 MongoDB 记录并将其插入 Postgres

Talend Studio - 在元数据中搜索以获取创建的所有查询