除了在hadoop集群中设置的时间之外，如何为长时间运行的应用程序更新委托令牌

Posted 2023-04-18

【中文标题】除了在hadoop集群中设置的时间之外，如何为长时间运行的应用程序更新委托令牌

【英文标题】：How to renew a delegation token for a long running applications besides the time set in the hadoop cluster

【发布时间】：2016-07-05 19:27:28

【问题描述】：

我有一个在我的 Hadoop 环境中运行的 Apache Apex 应用程序。

我对应用程序没有任何问题，只是 7 天后它失败了。而且，我意识到这是因为任何应用程序的集群级别设置。

有什么办法，我可以每隔一段时间定期更新委托令牌，以确保作业连续运行而不会失败！！

我可以在网上找到有关如何更新 hdfs 委托令牌的任何资源！！有人可以分享您的知识吗？

【参考方案1】：

Apex documentation 中提到了该问题。 它还详细提供了2个解决方案。 Hadoop 系统的非侵入式方法是选择“自动刷新方法”。 基本上你需要将你的 keytab 文件复制到 HDFS 并配置

<property>
    <name>dt.authentication.store.keytab</name>
    <value>hdfs-path-to-keytab-file</value>
</property>

在您的 dt-site.xml 中。

HTH