Flink EMR 安装

Posted 2023-04-18

【中文标题】Flink EMR 安装

【英文标题】：Flink EMR Installation

【发布时间】：2018-05-10 20:23:34

【问题描述】：

我是 flink 的新手，并试图在 EMR 集群上部署它。我使用了默认配置的 3 个节点集群（1 个主节点和 2 个从节点）。我没有做任何配置更改并坚持使用默认配置。

我很想了解以下几点：

master 和 slaves 之间如何通信，因为我没有在 master 节点的 conf/slaves 中提到任何 IP？

我可以在主节点（路径：/usr/lib/flink）中看到一个 flink 库，但在从节点中找不到 flink 库。我的代码如何在从节点上执行？

如果需要，我会根据我在 conf/flink-config.yml 中的要求更改一些配置。除此之外，我是否需要在主节点或从节点上进行任何其他更改？

【参考方案1】：

有关我们如何在 EMR 之上运行 Flink 流式作业的详细信息，请参阅 Running flink-crawler in EMR wiki 页面。请注意，在这种模式下，Flink 通过 YARN 运行，因此 Flink conf/slaves 文件没有被使用。您还应该查看YARN Setup 文档，以更好地了解 Flink 如何在 YARN 之上运行。