快手基于Apache Flink的持续优化实践

Posted 2021-04-13 大数据猫

分享嘉宾：董亭亭 快手

编辑整理：猫哥

出品平台：大数据猫

导读： 最近忙着天天晚上做梦都是干活，百忙之中也是抽空过来看看Flink一年一度的分享大会。整体看了一下，本次分享偏向于平台化支持，由于快手需要支持春晚和商业化，他们需要面临几个问题，

我重点梳理了一下。 春 晚和快手商业化广告需要实时流高稳定：

• 上游kafka双集群，双topic，如果上有一个topic故障了，如何让flink快速切换，快手做了source接入端的代码升级，二次开发，同时也在sink端做了二次开发

• 故障动态感知，从分钟级降低到秒级

• flink启动优化

• flink的sql倾斜问题，udf函数复用