每次提交批处理作业时，livy 服务器都会提交 jar

Posted 2023-04-18

【中文标题】每次提交批处理作业时，livy 服务器都会提交 jar

【英文标题】：livy server submits jar everytime a batch job is submitted

【发布时间】：2017-05-12 10:06:37

【问题描述】：

使用 Livy 服务器提交 Apache Spark 批处理作业时，它每次都上传 jar 文件（包含应用程序），即每次提交批处理作业。这似乎增加了作业提交时间。有没有办法引用当前的 jar在 spark master 本地目录中？

【参考方案1】：

我不确定您是在谈论将 jar 文件从 Livy 客户端上传到 Livy 服务器还是从 Livy 服务器上传到 Spark 集群。如果这是从 Livy 客户端到服务器，那么我相信将这些 jar 文件放在 /usr/lib/livy/repl_2.11-jars 中就可以了。