Flink

Posted connie313

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink相关的知识,希望对你有一定的参考价值。

许多大厂使用flin + storm.spart/storm是批处理大数据,flink是流处理大数据。也就是说支持增量的更新,不用牵一发而动全身,实施更改。

安装和部署。

可以用kubernates管理cluster,把程序部署到集群中。也可以部署到本地虚拟机。

nc -l -p 9000,然后输入命令行数据。

然后

datastream.map().keyby().print().sink()

关键概念:

flink支持savepoint, checkpoint,对出错点支持rollback,fallover.把运行中的状态保存到内存或者磁盘,同时支持watermark,所以数据是原子性的,有序的。

flink如何在代码级实现流的合并于通信,需要了解,以及并行度的问题

目前可以操作savePoint

以上是关于Flink的主要内容,如果未能解决你的问题,请参考以下文章

FlinkFlink 源码之快照

FlinkFlink 1.13 编译

FlinkFlink PipelineExecutor 体系

FlinkFlink Max 和 MaxBy的区别

FlinkFlink 学习的示例

FlinkFLink 通讯组件 RPC