Flink配置详解及实践

Posted createweb

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink配置详解及实践相关的知识,希望对你有一定的参考价值。

#jobManager的IP地址
jobmanager.rpc.address: localhost

#JobManager的端口号
jobmanager.rpc.port: 6123

# JobManagerJVM heap 内存大小(任务提交阶段可再设置,优先级高于配置文件)
jobmanager.heap.mb: 1024

# TaskManager JVM heap 内存大小(任务提交阶段可再设置,优先级高于配置文件)
taskmanager.heap.mb: 2048

#每个TaskManager 提供的任务slots梳理大小(任务提交阶段可再设置,优先级高于配置文件)
taskmanager.numberOfTaskSlots: 1

#Flink任务默认并行度 (一般情况下如果是kafka 按照kafka分区数即可,p=slot*tm)
parallelism.default: 1

#Web的运行监视器端扣
web.port: 8081

#将已完成的作业上传到的目录(用于帮助发现任务运行阶段日志信息)
jobmanager.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/

#基于Web的HistoryServer的端口号
historyserver.web.port: 8082

#以逗号分割的目录列表,将作业归档到目录中
historyserver.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/

#刷新存档的作业目录的时间间隔(单位:毫秒)
historyserver.archive.fs.refresh-interval: 10000

#用于存储和检查点状态的存储类型:filesystem hdfs rocksdb
state.backend: rocksdb

##存储检查点的数据文件和元数据的默认目录
state.backend.fs.checkpointdir: hdfs://nameservice/flink/pointsdata/

#用于保存检查点的目录(用户任务代码可设置覆盖,这里省略了nameservice,如果多集群任务需要从A发到B,nameservice可不用,相对路径即可)
state.checkpoints.dir: hdfs:///flink/checkpoints/

#save point的目录 (一般需要上次ck成功才能savepoint,同上相对路径)
state.savepoints.dir: hdfs:///flink/savepoints/

#保存最近的检查点数量 可是业务情况调整
state.checkpoints.num-retained: 20

#开启增量ck 这里全局生效 用户代码也可设置
state.backend.incremental:true

#超时
akka.ask.timeout: 300s

#akka心跳间隔,用于检测失效的TaskManager,误报减小此值
akka.watch.heartbeat.interval: 30s

#如果由于丢失或延迟的心跳信息而错误的将TaskManager标记为无效,增加此值
akka.watch.heartbeat.pause: 120s

#网络缓冲区的最大内存大小
taskmanager.network.memory.max: 4gb

#网络缓冲区的最小内存大小
taskmanager.network.memory.min: 256mb

#用于网络缓冲区的JVM内存的分数。这决定了TaskManager可以同时具有多少个流数据交换通道以及通道的缓冲程度。
taskmanager.network.memory.fraction: 0.5

#hadoop配置文件地址
fs.hdfs.hadoopconf: /etc/ecm/hadoop-conf/

#任务失败尝试次数
yarn.application-attempts: 10

#高可用
high-availability: zookeeper
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.quorum:zk1,zk2,zk3
high-availability.storageDir: hdfs://nameservice/flink/ha/

#metric收集信息
metrics.reporters: prom
#收集器
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter

#metric对外暴露端口
metrics.reporter.prom.port: 9250-9260

或者
metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: xx.xx.xx.xx
metrics.reporter.influxdb.port: 8086
metrics.reporter.influxdb.db: flink
metrics.reporter.influxdb.username:
metrics.reporter.influxdb.password:

以上是关于Flink配置详解及实践的主要内容,如果未能解决你的问题,请参考以下文章

Flink —— 配置文件详解

Flink的checkpoint配置详解

详解 Flink Catalog 在 ChunJun 中的实践之路

Flink检查点配置一致性

GIT服务器搭建及配置详解

Flink kafka kerberos的配置