Flink学习笔记

Posted 2021-09-13 阿豹

1 概述

Flink是什么？
    Stateful Computations over Data Streams 即 有状态的计算流框架(大数据计算框架)
    
    什么叫做状态？
    对源源不断过来的数据，知道数据的状态。
    
flink的特点：基于事件处理的框架，即来一条数据就处理一条数据
sparkstreaming: 基于时间来处理数据，即一个很小的时间段内的数据作为一个批次进行处理。

目前离线批处理spark强，实时处理flink强。

无界数据流：
无界数据流有一个开始但是没有结束，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取event，以便能够推断结果完整性。

有界数据流：
有界数据流有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理。

​