使用 Livy 作为 OS 用户运行 spark 程序

Posted 2023-02-16

【中文标题】使用 Livy 作为 OS 用户运行 spark 程序

【英文标题】：Run spark program using Livy as OS user

【发布时间】：2019-05-25 06:28:53

【问题描述】：

我有一个 kerberized 集群，并希望使用 Livy 以“OS 用户”的身份运行 Spark 程序。使用proxyUser选项只是将YARN用户设置为proxy User，OS用户还是Livy。

如果这是不可能的，那么有人可以将我指向“spark-submit”发生的 Livy 代码以创建新的 YARN 应用程序。我可以检查一下如何修改。

【参考方案1】：

所以 Livy 默认运行在客户端模式下，在这种模式下驱动程序作为 Livy 运行。我可以通过向 Livy 授予 sudo 权限，然后以模拟用户身份运行，使其以模拟用户身份运行。

更简单的方法是让 YARN 在集群模式下进行。这样，Livy 将作为模拟用户运行驱动程序。