flink on yarn - yarn-session模式资源分配问题

Posted 2023-01-14 一问一记

taskmanager总是在一个节点

环境：

• CentOS 7
• flink 1.16.0
• hadoop 3.3.2

问题：

通过yarn-session.sh 命令启动flink，提交多个任务后，发现他们的taskmanager均在同一节点

解决：

修改hadoop中yarn配置文件 yarn-site.xml

        <!-- 是否在一个节点分配多个containe -->
        <property>
                <name>yarn.scheduler.fair.assignmultiple</name>
                <value>false</value>
        </property>

        <!-- 代表在一个节点上一次性最多分配几个container -->
        <property>
                <name>yarn.scheduler.fair.max.assign</name>
                <value>2</value>
        </property>