Apache Spark和Livy集群

Posted 2021-04-01

场景：

• 我有火花簇和 我也想用Livy。
• 我是Livy的新人

问题：

• 我使用docker swarm和我建立了我的火花星团 我还将为Livy创建一项服务。
• Livy可以与外部火花大师沟通并将工作发送给外部火花大师吗？ 如果没问题，需要进行哪种配置？ 或者Livy应该安装在spark主节点上？

答案

我觉得有点晚了，但我希望这会对你有所帮助。

抱歉我的英语，但我是墨西哥人，你可以使用docker通过livy发送工作，但你也可以使用livy发送工作扔Livy REST API。

livy服务器可以在spark集群之外，你只需要发送一个conf文件给livy指向你的spark集群。

它看起来你运行spark独立，简单的方式来配置livy工作是livy生活在spark主节点上，如果你已经在你的集群机器上有YARN，你可以在任何节点上安装livy并在yarn-cluster中运行spark应用程序或者纱线客户模式。