Flink Introduction

Posted 2021-04-13 大数据和云计算技术

Hadoop开源社区新技术层出不穷，大家可能对Map/Reduce(YARN)/Spark很熟悉，最近又新增了一个Flink，也是大有来头。

Apache Flink是一个高效、分布式、基于Java实现的通用大数据分析引擎，它具有分布式MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案，它支持批量和基于流的数据分析，且提供了基于Java和Scala的API。从Apache官方博客中得知，Flink已于近日升级成为Apache基金会的顶级项目。

　从Flink官网得知，其具有如下主要特征：

　　1. 快速

　　Flink利用基于内存的数据流并将迭代处理算法深度集成到了系统的运行时中，这就

使得系统能够以极快的速度来处理数据密集型和迭代任务。

　　2. 可靠性和扩展性

　　当服务器内存被耗尽时，Flink也能够很好的运行，这是因为Flink包含自己的内存管

理组件、序列化框架和类型推理引擎。

　　3. 表现力

　　利用Java或者Scala语言能够编写出漂亮、类型安全和可为核心的代码，并能够在

集群上运行所写程序。开发者可以在无需额外处理就使用Java和Scala数据类型

　　4. 易用性

　　在无需进行任何配置的情况下，Flink内置的优化器就能够以最高效的方式在各种环

境中执行程序。此外，Flink只需要三个命令就可以运行在Hadoop的新MapReduce框

架Yarn上，

　　5. 完全兼容Hadoop

　　Flink支持所有的Hadoop所有的输入/输出格式和数据类型，这就使得开发者无需做

任何修改就能够利用Flink运行历史遗留的MapReduce操作。

接下来看下flink的架构：

Flink的主要特点是：

1、提供java/Scala支持批量和流式的API。

2、独有的优化器。

3、可以自定义的内存管理，不像SPARK/MR把内存管理丢给JVM。

今天简单介绍下flink的概要，下次研究下flink的内部优化器和内存管理机制，再分享下。更多的信息，大家可以登录官网看看http://flink.apache.org/。总的来说flink是 一个值得关注的框架。