Flink流式计算

Posted killianxu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink流式计算相关的知识,希望对你有一定的参考价值。

Structured Streaming

技术图片

  1. A stream is converted into a dynamic table.
  2. A continuous query is evaluated on the dynamic table yielding a new dynamic table.
  3. The resulting dynamic table is converted back into a stream.

Defining a Table on a Stream

 

技术图片

 Continuous Queries

技术图片

Handling Event-time

技术图片

TUMBLE(time_attr, interval),定义一个个连续的时间窗口,这样每行数据只可能出现在一个窗口内,窗口之间不会出现重叠Defines a tumbling time window. A tumbling time window assigns rows to non-overlapping, continuous windows with a fixed duration (interval). For example, a tumbling window of 5 minutes groups rows in 5 minutes intervals. Tumbling windows can be defined on event-time (stream + batch) or processing-time (stream).
TUMBLE_START(time_attr, interval). 返回时间窗口的下限时间戳.Returns the timestamp of the inclusive lower bound of the corresponding tumbling, hopping, or session window.

Handling Late Data

技术图片

Bob 12:54:00 ./xxx 到达时间14:01:00如何处理?

技术图片

Watermarks定义在cTime,允许延迟2hour, 14:00:00-2hour<13:00:00,窗口12:00:00-13::00:00仍保持
Watermarks定义在cTime,允许延迟5min,14:00:00-5min>13:00:00,时间窗口12:00:00-13:00:00已过期,数据被丢弃

 

以上是关于Flink流式计算的主要内容,如果未能解决你的问题,请参考以下文章

海数据技术沙龙——Flink:新一代流式计算框架&Storm/JStorm: 流式计算框架的应用

百度深耕边缘计算 基于Apache Flink首创边缘流式计算框架

Flink流式计算在节省资源方面的简单分析

流式计算-Flink 计算模型

Flink CookBook—流式计算介绍

Flink流式计算从入门到实战 一