从0到1Flink的成长之路

Posted 2021-07-25 熊老二-

自学Flink,坚持坚持再坚持!!!

 

Flink概述

• 前言
• 一、实时即未来
• 二、Flink官网
• 三、一切从Apache 开始
• 四、富二代 Flink
• 五、Flink 组件栈
• 六、Flink 四大基石
• 七、Flink 用武之地
  • 1.Event-driven Applications
  • 2.Data Analytics Applications
  • 2.Data Pipeline Applications
• 八、扩展阅读：Flink 发展现状
  • 1.Flink 在全球
  • 2.Flink 在中国
  • 2.Flink 在阿里
  • 2.Flink 在腾讯
• 九、扩展阅读：为什么选择 Flink
• 十、扩展阅读：大数据框架发展史
• 十一、扩展阅读：流处理 VS 批处理
• 十二、扩展阅读：统一流处理与批处理

 

---

前言

Apache Flink® — Stateful Computations over Data Streams

Apache Flink® — 状态计算中的数据流

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、实时即未来

       如今的我们正生活在新一次的信息革命浪潮中,5G,物联网,智慧城市,工业互联网等等,随之而来的数据,是企业,人工智能,数字经济是企业生存的根本,对于大数据来说更是这样:数据产生的越来越快,数据量越来越大,数据的来源越来越千变万化,数据中隐藏的价值更是越来越被重视! 

       历史的发展从来不会一帆风顺，随着大数据时代的发展，海量数据和多种业务的实时处理需求激增，比如：实时监控报警系统、实时风控系统、实时推荐系统等，传统的批处理方式和早期的流式处理框架因其自身的局限性，难以在延迟性、吞吐量、容错能力，以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，Flink 以其独特的天然流式计算特性和更为先进的架构设计，极大地改善了以前的流式处理框架所存在的问题。

       扩展阅读:为什么说流处理即未来? https://news.qudong.com/article/562521.shtml

二、Flink官网

官网地址: https://flink.apache.org/

三、从 Apache开始

       Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一个研究性项目。早期，Flink是做Batch计算的，但是在2014年，StratoSphere里面的核心成员孵化出Flink，同年将Flink捐赠Apache，并在后来成为Apache的顶级大数据项目，同时Flink计算的主流方向被定位为Streaming，即用流式计算来做所有大数据的计算，这就是Flink技术诞生的背景。
       2014年Flink作为主攻流计算的大数据引擎开始在开源大数据行业内崭露头角。区别于Storm、SparkStreaming以及其他流式计算引擎的是：它不仅是一个高吞吐、低延迟的计算引擎，同时还提供很多高级的功能。比如它提供了有状态的计算，支持状态管理，支持强一致性的数据语义以及支持基于EventTime的WaterMark对延迟或乱序的数据进行处理等。

 

四、富二代 Flink

https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/86117374

        随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往是相同的。但是，用户用于批处理和流处理的两套计算引擎是不同的。因此，用户通常需要写两套代码。毫无疑问，这带来了一些额外的负担和成本。阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题，所以阿里就在想，我们能不能有一套统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下，不管是全量数据还是增量数据，亦或者实时处理，一套方案即可全部支持，这就是阿里选择Flink的背景和初衷。
       2015年阿里巴巴开始使用Flink并持续贡献社区(阿里内部还基于Flink做了一套Blink)，2019年1月8日，阿里巴巴以9000万欧元(7亿元人民币)收购了创业公司DataArtisans。从此Flink开始了新一轮的乘风破浪！

五、Flink 组件栈

        一个计算框架要有长远的发展，必须打造一个完整的栈Stack（生态圈）。只有上层有了具体的应用，并能很好的发挥计算框架本身的优势，那么这个计算框架才能吸引更多的资源，才会更快的进步。所以Flink也在努力构建自己的Stack。
        Flink分层组件栈如下图所示：每一层所包含的组件都提供了特定的抽象，用来服务于上层组件。

       物理部署层: Flink支持本地运行,能在独立集群或者在被YARN管理的集群上运行,也能部署在云上,该层主要涉及Flink部署模式,母亲Flink能够通过该层能够支持不同平台的部署,用户可以根据需要选择使用对应的部署模式.与Spark基本一致.

       Runtime核心层:Runtime层提供 了支持Flink计算的全部核心实现,为上层API层提供基础服务,该层主要负责对上层不同姐接口提供基础服务,也是Flink分布计算框架的核心实现层,支持分布式Stream作业的执行,JobGraph到ExecutionGraph的映射转换,任务调度等.将DataSteam和DataSet转成统一可执行的Task Operator,达到在流式引擎下同时处理批量计算和流式计算的目的.

API&Libraries层: Flink首先支持了Scala和Java的API,也正在测试中.DataStream,DataSet,Table,SQL API,作为分布式数据处理框架,Flink同时提供了支撑流计算和批计算的接口,两者都是提供给用户丰富的数据处理高级API.例如Map,Flatmap操作等,也提供比较低级的Process Function API,用户可以直接操作状态和时间等底层数据.

扩展库: 还包括用于复杂事件处理的CEP,机器学习库FlinkML,图处理库GElly等.Table是一种接口化的SQL支持,也就是API支持(DSL),而不是文本化的SQL解析和执行.

六、Flink 四大基石

Flink之所以能这么流行,离不开它最重要的四大基石: Checkpoint,State,Time,Window.

Checkpoint：检查点

Flink最重要的一个特性，Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义；

Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Flink则把这个算法发扬光大了；

Spark最近在实现ContinuesStreaming，Continue streaming的目的是为了降低处理的延时，其也需要提供这种一致性的语义，最终也采用了Chandy-Lamport这个算法，说明Chandy-Lamport算法在业界得到一定的肯定；

扩展：https://zhuanlan.zhihu.com/p/53482103

State ：状态

提供了一致性的语义之后，Flink为了让用户在编程时能够更轻松、更容易地去管理状态；

提供了一套非常简单明了的State API，包括里面的ValueState、ListState、MapState，近期添加了BroadcastState，使用State API能够自动享受到这种一致性的语义；

Time

实现Watermark的机制，能够支持基于事件的时间的处理，能够容忍迟到/乱序的数据。

 Window

提供开箱即用的各种窗口，如滑动窗口、滚动窗口、会话窗以及灵活的自定义的窗口。

七、Flink 用武之地

http://www.liaojiayi.com/flink-IoT/

https://flink.apache.org/zh/usecases.html

从很多公司的应用案例发现，其实Flink主要用在如下三大场景：

Event-driven Applications

事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。
       事件驱动型应用是在计算存储分离的传统应用基础上进化而来。在传统架构中，应用需要读写远程事务型数据库。相反，事件驱动型应用是基于状态化流处理来完成，在该设计中，数据和计算不会分离，应用只需访问本地(内存或磁盘)即可获取数据。
        系统容错性的实现依赖于定期向远程持久化存储写入 checkpoint。下图描述了传统应用和事件驱动型应用架构的区别。

从某种程度上来说，所有的实时数据处理或者是流式数据处理都应该是属于Data Driven，流计算本质上是Data Driven 计算。
        应用较多的如风控系统，当风控系统需要处理各种各样复杂的规则时，Data Driven 就会把处理的规则和逻辑写入到Datastream 的API 或者是ProcessFunction 的API 中，然后将逻辑抽象到整个Flink 引擎，当外面的数据流或者是事件进入就会触发相应的规则，这就是Data Driven 的原理。在触发某些规则后，Data Driven 会进行处理或者是进行预警，这些预警会发到下游产生业务通知，这是Data Driven 的应用场景，Data Driven 在应用上更多应用于复杂事件的处理。
典型实例：
       - 欺诈检测(Fraud detection)、异常检测(Anomaly detection)
       - 基于规则的告警(Rule-based alerting)
       - 业务流程监控(Business process monitoring)
       - Web应用程序(社交网络)

Data Analytics Applications

数据分析任务需要从原始数据中提取有价值的信息和指标。如下图所示，Apache Flink 同时支持流式及批量分析应用。

Data Analytics Applications包含Batch analytics(批处理分析)和Streaming analytics(流处理分析)。

       Batch analytics可以理解为周期性查询

       Batch Analytics 就是传统意义上使用类似于Map Reduce、Hive、Spark Batch 等，对作业进行分析、处理、生成离线报表。

       比如Flink应用凌晨从Recorded Events中读取昨天的数据，然后做周期查询运算，最后将数据写入Database或者HDFS，或者直接将数据生成报表供公司上层领导决策使用。

      Streaming analytics可以理解为连续性查询

       比如实时展示双十一天猫销售GMV(Gross Merchandise Volume成交总额)

       用户下单数据需要实时写入消息队列，Flink 应用源源不断读取数据做实时计算，然后不断的将数据更新至Database或者K-VStore，最后做大屏实时展示。
       典型实例
       - 电信网络质量监控
       - 移动应用中的产品更新及实验评估分析
       - 消费者技术中的实时数据即席分析
       - 大规模图分析

Data Pipeline Applications

     什么是数据管道？
    提取-转换-加载(ETL)是一种在存储系统之间进行数据转换和迁移的常用方法。

    ETL 作业通常会周期性地触发，将数据从事务型数据库拷贝到分析型数据库或数据仓库。数据管道和 ETL 作业的用途相似，都可以转换、丰富数据，并将其从某个存储系统移动到另一个。但数据管道是以持续流模式运行，而非周期性触发。因此数据管道支持从一个不断生成数据的源头读取记录，并将它们以低延迟移动到终点。
    例如：数据管道可以用来监控文件系统目录中的新文件，并将其数据写入事件日志；另一个应用可能会将事件流物化到数据库或增量构建和优化查询索引。
    和周期性 ETL 作业相比，持续数据管道可以明显降低将数据移动到目的端的延迟。
    此外，由于它能够持续消费和发送数据，因此用途更广，支持用例更多。
   下图描述了周期性ETL作业和持续数据管道的差异。

Periodic ETL：

比如每天凌晨周期性的启动一个Flink ETL Job，读取传统数据库中的数据，然后做ETL，最后写入数据库和文件系统。

Data Pipeline：

比如启动一个Flink 实时应用，数据源(比如数据库、Kafka)中的数据不断的通过Flink Data Pipeline流入或追加到数据仓库(数据库或者文件系统)，或Kafka消息队列。

Data Pipeline 的核心场景类似于数据搬运并在搬运的过程中进行部分数据清洗或者处理，而整个业务架构图的左边是Periodic ETL，它提供了流式ETL 或者实时ETL，能够订阅消息队列的消息并进行处理，清洗完成后实时写入到下游的Database或File system 中。

典型实例
- 电子商务中的持续 ETL(实时数仓)
当下游要构建实时数仓时，上游则可能需要实时的Stream ETL。这个过程会进行实时清洗或扩展数据，清洗完成后写入到下游的实时数仓的整个链路中，可保证数据查询的时效性，形成实时数据采集、实时数据处理以及下游的实时Query。

- 电子商务中的实时查询索引构建(搜索引擎推荐)
搜索引擎这块以淘宝为例，当卖家上线新商品时，后台会实时产生消息流，该消息流经过Flink 系统时会进行数据的处理、扩展。然后将处理及扩展后的数据生成实时索引，写入到搜索引擎中。这样当淘宝卖家上线新商品时，能在秒级或者分钟级实现搜索引擎的搜索。

 

八，Flink 发展现状

Flink 在全球

Flink近年来逐步被人们所熟知，不仅是因为Flink提供同时支持高吞吐/低延迟和Exactly-Once语义的实时计算能力，同时Flink还提供了基于流式计算引擎处理批量数据的计算能力，真正意义上实现批流统一。
       同时随着阿里对Blink的开源，极大地增强了Flink对批计算领域的支持。众多优秀的特性，使得Flink成为开源大数据处理框架中的一颗新星，随着国内社区的不断推动，越来越多的公司开始选择使用Flink作为实时数据处理技术，在不久的将来，Flink也将会成为企业内部主流的数据处理框架，最终成为下一代大数据处理的标准。

Flink 在中国

Flink在很多公司的生产环境中得到了使用, 例如: ebay、腾讯、阿里、 亚马逊、 华为等

Flink 在阿里

        阿里自2015年起开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，阿里贡献了数百个commiter，并对Flink进行高度定制，并取名为Blink。
        阿里是Flink SQL的最大贡献者，一半以上的功能都是阿里的工程师开发的，基于Apache Flink在阿里巴巴搭建的平台于2016年正式上线，从阿里巴巴的搜索和推荐两大场景开始实现。
        2019年Flink的母公司被阿里7亿元全资收购，阿里一直致力于Flink在国内的推广使用，目前阿里巴巴所有的业务，包括阿里巴巴所有子公司都采用了基于Flink搭建的实时计算平台。同时Flink计算平台运行          在开源的Hadoop集群之上，采用Hadoop的YARN做为资源管理调度，以 HDFS作为数据存储。因此，Flink可以和开源大数据软件Hadoop无缝对接。
        目前，这套基于Flink搭建的实时计算平台不仅服务于阿里巴巴集团内部，而且通过阿里云的云产品API向整个开发者生态提供基于Flink的云产品支持。
主要包含四个模块：实时监控、实时报表、流数据分析和实时仓库。
实时监控：
- 用户行为预警、app crash 预警、服务器攻击预警
- 对用户行为或者相关事件进行实时监测和分析，基于风控规则进行预警、复杂事件处理
实时报表：
- 双11、双12等活动直播大屏
- 对外数据产品：生意参谋等
- 数据化运营
流数据分析：
- 实时计算相关指标反馈及时调整决策
- 内容投放、无线智能推送、实时个性化推荐等
实时仓库/ETL：
- 数据实时清洗、归并、结构化
- 数仓的补充和优化
Flink在阿里巴巴的大规模应用表现如何？
- 规模：一个系统是否成熟，规模是重要指标，Flink最初上线阿里巴巴只有数百台服务器，
目前规模已达上万台，此等规模在全球范围内也是屈指可数；
- 状态数据：基于Flink，内部积累起来的状态数据已经是PB级别规模；
- Events：如今每天在Flink的计算平台上，处理的数据已经超过十万亿条;
- TPS：在峰值期间可以承担每秒超过17亿次的访问，最典型应用场景是阿里巴巴双11大屏；

Flink 在腾讯

腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条，每天接入的数据量达到了 17 万亿条，每天的数据增长量达到了 3PB，每天需要进行的实时计算量达到了 20 万亿次。腾讯选择用 Flink 作为新一代的实时流计算引擎，并对社区版的 Flink 进行了深度的优化，在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台—Oceanus。
https://blog.csdn.net/qianshangding0708/article/details/91469978

 

九、扩展阅读：为什么选择 Flink

主要原因
1. Flink 具备统一的框架处理有界和无界两种数据流的能力
2. 部署灵活，Flink 底层支持多种资源调度器，包括Yarn、Kubernetes 等。Flink 自身带的Standalone 的调度器，在部署上也十分灵活。
3. 极高的可伸缩性，可伸缩性对于分布式系统十分重要，阿里巴巴双11大屏采用Flink 处理海量数据，使用过程中测得Flink 峰值可达17 亿条/秒。
4. 极致的流式处理性能。Flink 相对于Storm 最大的特点是将状态语义完全抽象到框架中，支持本地状态读取，避免了大量网络IO，可以极大提升状态存取的性能。

其他更多的原因:
1. 同时支持高吞吐、低延迟、高性能Flink 是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。Spark只能兼顾高吞吐和高性能特性，无法做到低延迟保障，因为Spark是用批处理来做流处理Storm 只能支持低延时和高性能特性，无法满足高吞吐的要求下图显示了 Apache Flink 与 Apache Storm 在完成流数据清洗的分布式任务的性能对比。

2. 支持事件时间(Event Time)概念
在流式计算领域中，窗口计算的地位举足轻重，但目前大多数框架窗口计算采用的都是系统时间(Process Time)，也就是事件传输到计算框架处理时，系统主机的当前时间。Flink 能够支持基于事件时间(Event Time)语义进行窗口计算这种基于事件驱动的机制使得事件即使乱序到达甚至延迟到达，流系统也能够计算出精确的结果，保持了事件原本产生时的时序性，尽可能避免网络传输或硬件系统的影响。

3. 支持有状态计算
Flink1.4开始支持有状态计算所谓状态就是在流式计算过程中将算子的中间结果保存在内存或者文件系统中，等下一个事件进入算子后可以从之前的状态中获取中间结果，计算当前的结果，从而无须每次都基于全部的原始数据来统计结果，极大的提升了系统性能，状态化意味着应用可以维护随着时间推移已经产生的数据聚合.

4. 支持高度灵活的窗口(Window)操作
Flink 将窗口划分为基于 Time 、Count 、Session、以及Data-Driven等类型的窗口操作，窗口可以用灵活的触发条件定制化来达到对复杂的流传输模式的支持，用户可以定义不同的窗口触发机制来满足不同的需求；

5. 基于轻量级分布式快照(Snapshot/Checkpoints)的容错机制Flink 能够分布运行在上千个节点上，通过基于分布式快照技术的Checkpoints，将执行过程中的状态信息进行持久化存储，一旦任务出现异常停止，Flink 能够从 Checkpoints 中进行任务的自动恢复，以确保数据处理过程中的一致性Flink 的容错能力是轻量级的，允许系统保持高并发，同时在相同时间内提供强一致性保证。

6. 基于 JVM 实现的独立的内存管理Flink 实现了自身管理内存的机制，通过使用散列、索引、缓存和排序有效地进行内存管理，通过序列化/反序列化机制将所有的数据对象转换成二进制在内存中存储，降低数据存储大小的同时，更加有效的利用空间。使其独立于Java的默认垃圾收集器，尽可能减少JVM GC对系统的影响. 

7. SavePoints 保存点对于 7 * 24 小时运行的流式应用，数据源源不断的流入，在一段时间内应用的终止有可能导致数据的丢失或者计算结果的不准确。比如集群版本的升级，停机运维操作等。值得一提的是，Flink 通过SavePoints 技术将任务执行的快照保存在存储介质上，当任务重启的时候，可以从事先保存的 SavePoints 恢复原有的计算状态，使得任务继续按照停机之前的状态运行。Flink 保存点提供了一个状态化的版本机制，使得能以无丢失状态和最短停机时间的方式更新应用或者回退历史数据。

8. 灵活的部署方式，支持大规模集群Flink 被设计成能用上千个点在大规模集群上运行除了支持独立集群部署外，Flink 还支持 YARN 和Mesos 方式部署。

9. Flink 的程序内在是并行和分布式的数据流可以被分区成 stream partitions，operators 被划分为operator subtasks; 这些subtasks 在不同的机器或容器中分不同的线程独立运行；operator subtasks 的数量就是operator的并行计算数，不同的 operator 阶段可能有不同的并行数；如下图所示，source operator 的并行数为 2，但最后的 sink operator 为1；

10. 丰富的库

Flink 拥有丰富的库来进行机器学习，图形处理，关系数据处理等。

十、扩展阅读：大数据框架发展史

这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。

在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。
第1代：Hadoop MapReduce
        首先第一代的计算引擎，无疑就是 Hadoop 承载的 MapReduce。它将计算分为两个阶段，分别为 Map 和 Reduce。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在上层应用实现多个 Job 的串联，以完成一个完整的算法，例如迭代计算。

批处理

Mapper、Reducer

 第2代：DAG框架（Tez） + MapReduce
由于这样的弊端，催生了支持 DAG 框架的产生。因此，支持 DAG 的框架被划分为第二代计算引擎。如 Tez 以及更上层的 Oozie。这里我们不去细究各种 DAG 实现之间的区别，不过对于当时的 Tez 和 Oozie 来说，大多还是批处理的任务。
 批处理

1个Tez = MR(1) + MR(2) + ... + MR(n)

相比MR效率有所提升

第3代：Apache Spark
接下来就是以 Spark 为代表的第三代的计算引擎。第三代计算引擎的特点主要是 Job 内部的 DAG 支持（不跨越 Job），以及强调的实时计算。在这里，很多人也会认为第三代计算引擎
也能够很好的运行批处理的 Job。

批处理、流处理、SQL高层API支持
 自带DAG
内存迭代计算、性能较之前大幅提升

第4代：Flink

随着第三代计算引擎的出现，促进了上层应用快速发展，例如各种迭代计算的性能以及对流计算和 SQL 等的支持。Flink 的诞生就被归在了第四代。这应该主要表现在 Flink 对流计算的支持，以及更一步的实时性上面。当然 Flink 也可以支持 Batch 的任务，以及 DAG 的运算。

批处理、流处理、SQL高层API支持
自带DAG
流式计算性能更高、可靠性更高

十一、扩展阅读：流处理 VS 批处理

数据的时效性
日常工作中，我们一般会先把数据存储在表，然后对表的数据进行加工、分析。既然先存储在表中，那就会涉及到时效性概念。如果处理以年，月为单位的级别的数据处理，进行统计分析，个性化推荐，那么数据的的最新日期离当前有几个甚至上月都没有问题。但是如果处理的是以天为级别，或者一小时甚至更小粒度的数据处理，那么就要求数据的时效性更高了。比如：网站的实时监控和异常日志的监控这些场景需要工作人员立即响应，这样的场景下，传统的统一收集数据，再存到数据库中，再取出来进行分析就无法满足高时效性的需求了。

流式计算和批量计算

Batch Analytics 批量计算: 统一收集数据->存储到DB->对数据进行批量处理，就是传统意义上使用类似于 Map Reduce、Hive、Spark Batch 等，对作业进行分析、处理、生成离线报表；

Streaming Analytics 流式计算，顾名思义，就是对数据流进行处理，如使用流式分析引擎如 Storm，Flink 实时处理分析数据，应用较多的场景如实时大屏、实时报表。它们的主要区别是：

与批量计算那样慢慢积累数据不同，流式计算：立刻计算，数据持续流动，计算完之后就丢弃。

批量计算是维护一张表，对表进行实施各种计算逻辑。流式计算相反，是必须是先定义好计算逻辑，提交到流式计算系统，这个计算作业逻辑在整个运行期间是不可更改的。

计算结果上，批量计算对全部数据进行计算后传输结果，流式计算是每次小批量计算后，结果可以立刻实时化展现。

 

十二、扩展阅读：统一流处理与批处理

在大数据处理领域，批处理任务与流处理任务一般被认为是两种不同的任务，一个大数据框架一般会被设计为只能处理其中一种任务：

MapReduce只支持批处理任务；

Storm只支持流处理任务；

Spark Streaming采用micro-batch架构，本质上还是基于Spark批处理对流式数据进行处理；Structured Streaming支持micro-batch和continue process两种模式；

Flink通过灵活的执行引擎，能够同时支持批处理任务与流处理任务；

在执行引擎这一层，流处理系统与批处理系统最大不同在于节点间的数据传输方式：

1. 对于一个流处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，然后立刻通过网络传输到下一个节点，由下一个节点继续处理；

2. 对于一个批处理系统，其节点间数据传输的标准模型是：当一条数据被处理完成后，序列化到缓存中，并不会立刻通过网络传输到下一个节点，当缓存写满，就持久化到本地硬盘上，当所有数据都被处理完成后，才开始将处理后的数据通过网络传输到下一个节点；

这两种数据传输模式是两个极端，对应的是流处理系统对低延迟的要求和批处理系统对高吞吐量的要求。

Flink的执行引擎采用了一种十分灵活的方式，同时支持了这两种数据传输模型：

Flink以固定的缓存块为单位进行网络数据传输，用户可以通过设置缓存块超时值指定缓存块的传输时机。

如果缓存块的超时值为0，则Flink的数据传输方式类似上文所提到流处理系统的标准模型，此时系统可以获得最低的处理延迟；

如果缓存块的超时值为无限大/-1，则Flink的数据传输方式类似上文所提到批处理系统的标准模型，此时系统可以获得最高的吞吐量

同时缓存块的超时值也可以设置为0到无限大之间的任意值。缓存块的超时阈值越小，则Flink流处理执行引擎的数据处理延迟越低，但吞吐量也会降低，反之亦然。通过调整缓存块的超时阈值，用户可根据需求灵活地权衡系统延迟和吞吐量