Flink 1.10.1 on yarn 部署安装

Posted 2021-04-02 省钱拍档

下载部署包

https://archive.apache.org/dist/flink/flink-1.10.1/

修改或者增加yarn-site.xml ， 应用的重启次数

  yarn.resourcemanager.am.max-attempts   4       The maximum number of application master execution attempts.  

增加flink-conf.xml ， 应用尝试次数，这个是高可用必须的配置项

l如果遇到集群节点挂了，节点重新分配之类的导致失败，不会计入这个yarn.application-attempts次数里面

lFlink里面这个重试的次数要小于yarn配置的yarn.resourcemanager.am.max-attempts值

high-availability: zookeeper high-availability.zookeeper.quorum: rhel072:2181,rhel076:2181,rhel079:2181 high-availability.storageDir: hdfs:///flink/recovery high-availability.zookeeper.path.root: /flink yarn.application-attempts: 10

  修改zoo.cfg

lcurrently it’s only possible to run a single ZooKeeper server per machine

l目前只能在每台机器只能运行单个zookeeper服务

l3888：选举leader使用

l2888：集群内机器通讯使用（Leader监听此端口）

server.1=rhel071:2888:3888 server.2=rhel072:2888:3888 server.3=rhel073:2888:3888

修改master

rhel071:8081 rhel072:8081

修改slaves

rhel071 rhel072 rhel075 rhel076 rhel079

然后拷贝到其他机器

scp -r /opt/flink flink@rhel072:/opt

然后启动

我这边操作是用的flink，注意要配置好免密登录

我这边因为用的是flink用户，所以会报权限错误

把要用的到那个目录修改一下权限

 hdfs dfs -chmod -R 777 hdfs:///flink/recovery

这样就启动成功了

访问webui

http://rhel072:8081/