Flink配置详解及实践

Posted 2020-11-16 createweb

#jobManager的IP地址
jobmanager.rpc.address: localhost

#JobManager的端口号
jobmanager.rpc.port: 6123

# JobManagerJVM heap 内存大小（任务提交阶段可再设置，优先级高于配置文件）
jobmanager.heap.mb: 1024

# TaskManager JVM heap 内存大小（任务提交阶段可再设置，优先级高于配置文件）
taskmanager.heap.mb: 2048

#每个TaskManager 提供的任务slots梳理大小（任务提交阶段可再设置，优先级高于配置文件）
taskmanager.numberOfTaskSlots: 1

#Flink任务默认并行度 （一般情况下如果是kafka 按照kafka分区数即可，p=slot*tm）
parallelism.default: 1

#Web的运行监视器端扣
web.port: 8081

#将已完成的作业上传到的目录（用于帮助发现任务运行阶段日志信息）
jobmanager.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/

#基于Web的HistoryServer的端口号
historyserver.web.port: 8082

#以逗号分割的目录列表，将作业归档到目录中
historyserver.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/

#刷新存档的作业目录的时间间隔（单位：毫秒）
historyserver.archive.fs.refresh-interval: 10000

#用于存储和检查点状态的存储类型：filesystem hdfs rocksdb
state.backend: rocksdb

##存储检查点的数据文件和元数据的默认目录
state.backend.fs.checkpointdir: hdfs://nameservice/flink/pointsdata/

#用于保存检查点的目录（用户任务代码可设置覆盖，这里省略了nameservice，如果多集群任务需要从A发到B,nameservice可不用，相对路径即可）
state.checkpoints.dir: hdfs:///flink/checkpoints/

#save point的目录 （一般需要上次ck成功才能savepoint，同上相对路径）
state.savepoints.dir: hdfs:///flink/savepoints/

#保存最近的检查点数量 可是业务情况调整
state.checkpoints.num-retained: 20

#开启增量ck 这里全局生效 用户代码也可设置
state.backend.incremental:true

#超时
akka.ask.timeout: 300s

#akka心跳间隔，用于检测失效的TaskManager，误报减小此值
akka.watch.heartbeat.interval: 30s

#如果由于丢失或延迟的心跳信息而错误的将TaskManager标记为无效，增加此值
akka.watch.heartbeat.pause: 120s

#网络缓冲区的最大内存大小
taskmanager.network.memory.max: 4gb

#网络缓冲区的最小内存大小
taskmanager.network.memory.min: 256mb

#用于网络缓冲区的JVM内存的分数。这决定了TaskManager可以同时具有多少个流数据交换通道以及通道的缓冲程度。
taskmanager.network.memory.fraction: 0.5

#hadoop配置文件地址
fs.hdfs.hadoopconf: /etc/ecm/hadoop-conf/

#任务失败尝试次数
yarn.application-attempts: 10

#高可用
high-availability: zookeeper
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.quorum:zk1,zk2,zk3
high-availability.storageDir: hdfs://nameservice/flink/ha/

#metric收集信息
metrics.reporters: prom
#收集器
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter

#metric对外暴露端口
metrics.reporter.prom.port: 9250-9260

或者
metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: xx.xx.xx.xx
metrics.reporter.influxdb.port: 8086
metrics.reporter.influxdb.db: flink
metrics.reporter.influxdb.username:
metrics.reporter.influxdb.password: