学习笔记Flink—— Flink DataStream API编程
Posted 别呀
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了学习笔记Flink—— Flink DataStream API编程相关的知识,希望对你有一定的参考价值。
一、Flink程序构成
-
获取执行环境;
-
加载/创建初始数据;
-
编写对数据的转换操作;
-
指定计算结果存放的位置;
-
触发程序执行;
二、数据源
Collection 类型数据源
fromCollection(Seq)
fromCollection(Iterator)
fromElements(elements:_*)
fromParallelCollection(SplittableIterator)
generateSequence(from, to)
查看(浏览器:node110::8081
):(注意这个是随机分配到结点上的)
三、输出源
print() / printToErr()
:把数据通过标准输出或异常输出进行打印writeToSocket
: 通过socket 进行数据输出;
结点间传输:
通过socket进行传输:
四、转换操作
4.1、值 -> 值
(注意先打开端口)
4.1.1、map函数
4.1.2、flatMap函数
4.1.3、filter函数
4.2、键值->键值
4.2.1、keyBy函数
4.2.2、reduce函数
使用keyBy(0)
使用keyBy(1)
4.2.3、keyBy+sum函数
我们可以观察到和上面reduce结果是一样的,而且会更为简洁,但是sum只能适用于一些特定情况。
4.2.4、keyBy+window函数
以上是关于学习笔记Flink—— Flink DataStream API编程的主要内容,如果未能解决你的问题,请参考以下文章