Flink Window窗口开始结束时间分析-源码探索

Posted 总要冲动一次

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink Window窗口开始结束时间分析-源码探索相关的知识,希望对你有一定的参考价值。

首先 flink 的窗口分配是发生在 StreamTask 初始化的过程中。
核心方法是 TumblingProcessingTimeWindows.assignWindows(…)

// TODO : 在初始化StreamTask的时候需要分配好窗口
    @Override
    public Collection<TimeWindow> assignWindows(
            Object element, long timestamp, WindowAssignerContext context) 
        final long now = context.getCurrentProcessingTime();
        // TODO : 默认情况下 staggerOffset = 0
        if (staggerOffset == null) 
            staggerOffset =
                    windowStagger.getStaggerOffset(context.getCurrentProcessingTime(), size);
        
        // TODO : 获取窗口起始时间
        long start =
                TimeWindow.getWindowStartWithOffset(
                        now, (globalOffset + staggerOffset) % size, size);
        return Collections.singletonList(new TimeWindow(start, start + size));
    

可以通过这个方法往上点,会发现他是在StreamTask初始化的时候触发的。
这个方法调用了一个很重要的方法来计算窗口开始时间:TimeWindow.getWindowStartWithOffset(…)

/**
     * Method to get the window start for a timestamp.
     *
     * @param timestamp epoch millisecond to get the window start.   当前时间
     * @param offset The offset which window start would be shifted by.  窗口偏移
     * @param windowSize The size of the generated windows.  窗口大小
     *
     * @return window start
     */
    // TODO : 默认 offset = 0
    /**
     * 1、如果 windowSize 是整秒,根据计算公式可知 当前时间-(当前时间+窗口大小)%windowSize 得到的一定是一个整秒时间,以此类推可知整分钟、整小时都是这样
     * 2、举例:整秒,如果windowSize是60的因数,那么窗口的排布是按照每分钟的00秒开始,其余的就不好说了
     * 3、根据公式可知,一旦windowSize确定了,从以前到现在再到未来,所有的窗口都已经分布好了! 当然如果配置了 offset 就另说了
     */
    public static long getWindowStartWithOffset(long timestamp, long offset, long windowSize) 
        return timestamp - (timestamp - offset + windowSize) % windowSize;
        // TODO : 如果 offset = 0,当前时间 - 当前时间除去windowSize的余数
        // TODO : 如果 offset != 0且为正数, 由于 offset 不会大于 windowSize,所以会导致余数变小了,最终得到的窗口 startTime 变大了
    

注释里有我的简单总结,供参考。

创作打卡挑战赛 赢取流量/现金/CSDN周边激励大奖

以上是关于Flink Window窗口开始结束时间分析-源码探索的主要内容,如果未能解决你的问题,请参考以下文章

Flink实战系列Flink SQL 之 Session Window 的用法

Flink 源码解读系列 DataStream 窗口 Window 实现

Flink 源码解读系列 DataStream 窗口 Window 实现

Flink SQL Window源码全解析

Flink 源码解读系列 DataStream 窗口分配器 WinowAssigner

Flink 源码解读系列 DataStream 窗口分配器 WinowAssigner