Flink流式引擎技术分析--大纲

Posted Asu_PC

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink流式引擎技术分析--大纲相关的知识,希望对你有一定的参考价值。

Flink简介

  Flink组件栈

  Flink特性

    流处理特性

    API支持

    Libraries支持

    整合支持

  Flink概念

    Stream、Transformation、Operator

    Parallel Dataflow

    Task、Operator Chain

    Window

    Time

  Flink架构

    JobManager

    TaskManager

    Client

  Flink调度

    逻辑调度

    物理调度

  Flink容错

Flink的集群部署

  环境准备

  集群安装

  集群启动

  案例测试

整体执行过程

数据流图的分析

  生成执行计划

    源码分析

  StreamGraph的生成

    原理分析

    源码分析

  JobGraph的生成

    源码分析

    原理分析

  ExcutionGraph的生成

    源码分析

    原理分析

  物理执行图

    源码分析

transformation的类型

  分区器的类型

    GlobalPartitioner

    ForwardPartitioner

    ShufflePartitioner

    HashPartitioner

    CustomPartitionerWrapper

    BroadcastPartitioner

    RebalancePartitioner

Flink客户端提交作业

生成消费原理

  序列化阶段和结果分区生产阶段

  通知消费者消费

  消费者做具体消费

  反序列化阶段

Flink资源分配

  源码分析

  资源分配原理分析

Task的任务执行分析

以上是关于Flink流式引擎技术分析--大纲的主要内容,如果未能解决你的问题,请参考以下文章

大数据框架

Flink从零搭建实时数据分析系统

海数据技术沙龙——Flink:新一代流式计算框架&Storm/JStorm: 流式计算框架的应用

Spark与Flink大数据处理引擎对比分析!

Flink流式计算在节省资源方面的简单分析

寻找数据统治力:比较Spark和Flink