Flink 使用 Broadcast State 的4个注意事项
Posted @SmartSi
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 使用 Broadcast State 的4个注意事项相关的知识,希望对你有一定的参考价值。
在 Apache Flink 1.5.0 中引入了广播状态(Broadcast State)。本文将描述什么是广播状态模式,广播状态与其他的 Operator State 有什么区别,最后说明一下在 Flink 中使用该功能时需要考虑的一些重要注意事项。
1. 什么是广播状态模式
广播状态模式指的是将低吞吐量的事件流(例如,包含一组规则)广播到某个算子所有并发实例上的一种流应用程序,然后与来自另一条事件流的原始数据进行计算。广播状态模式的一些典型应用案例如下:
- 动态规则:假如我们有这样一条规则,当交易值超过100万美元时需要发警报,并将这一规则广播到算子所有并发实例上。
- 数据丰富:对只包含用户ID的交易数据流进行数据丰富,可以将广播数据与用户ID进行关联。
为了实现这样的应用,广播状态是关键组件,我们将在下文详细描述。
2. 什么是广播状态?
广播状态是 Flink 中支持的第三种类型的 Operator State。广播状态使得 Flink 用户能够以容错、可扩展地将来自广播的低吞吐的事件流数据存储下来。来自另一条数据流的事件可以流经同一算子的各个并发实例,并与广播状态中的数据一起处理。有关其他类型的状态以及如何使用它们的更多信息,可以查阅 Flink 文档。
广播状态与其他 Operator State 之间有三个主要区别。不同于其余类型的 Operator State,广播状态:
- Map 的
以上是关于Flink 使用 Broadcast State 的4个注意事项的主要内容,如果未能解决你的问题,请参考以下文章
Flink 使用 Broadcast State 的4个注意事项
Flink 使用 Broadcast State 的4个注意事项
大数据——Flink Broadcast State 广播状态
Flink-状态与容错-Broadcast State--flink1.13