集群模式下的 Trafodion 与 spark

Posted 2023-04-18

【中文标题】集群模式下的 Trafodion 与 spark

【英文标题】：Trafodion in cluster mode with spark

【发布时间】：2016-10-26 09:41:27

【问题描述】：

我用 trafodion 开发了 spark 应用程序。当使用 spark-submit 命令使用--master local[*] 模式运行应用程序时，它工作正常并且数据正确插入到数据库中。但是当我在--master yarn 集群模式下运行相同的应用程序时，它没有运行。它给出了错误：

ERROR[29716] 写入证书文件时出错 /home/hadoop-testing-M3_yarn.cer.

ERROR[29716] 写入证书文件时出错 /home/hadoop-testing-M1_yarn.cer.

ERROR[29716] 写入证书文件时出错 /home/hadoop-testing-M2_yarn.cer.

我们有 3 节点集群，在集群模式下运行 trafodion 时出现此错误。

谁能告诉我如何解决这个问题？

【参考方案1】：

这个错误是由于 yarn 用户没有对 /home 的写权限。您可以通过在 jdbc url 中指定 yarn 用户具有权限的目录来覆盖默认位置

"jdbc:t4jdbc://:23400/:certificateDir=/tmp"

【讨论】：

URL 应包含主机名和端口号“jdbc:t4jdbc://serverHostname:23400/:certificateDir=/tmp”