95-866-040-源码-吞吐量-提升吞吐的利器 MicroBatch

Posted 2021-10-25 九师兄

文章目录

• 1.美图
• 2.概述
• 3.微批计算
• 4.攒批策略
• • 4.1 MiniBatch 攒批策略
  • 4.2 MicroBatch 攒批策略
• 5.防止数据抖动
• 6.适用场景与使用方式
• 7.后续优化

1.美图

2.概述

​ 之前我们在 Flink SQL 中支持了 MiniBatch, 在支持高吞吐场景发挥了重要作用。今年我们在 Flink SQL 性能优化中一项重要的改进就是升级了微批模型，我们称之为 MicroBatch，也叫 MiniBatc