学习笔记Flink—— Flink DataStream API编程

Posted 2021-11-09 别呀

一、Flink程序构成

1. 获取执行环境；
   

2. 加载/创建初始数据；

3. 编写对数据的转换操作；

4. 指定计算结果存放的位置；

5. 触发程序执行；

---

二、数据源

Collection 类型数据源

• fromCollection(Seq)
• fromCollection(Iterator)
• fromElements(elements:_*)
• fromParallelCollection(SplittableIterator)
• generateSequence(from, to)
  
  查看（浏览器：node110::8081）：(注意这个是随机分配到结点上的)
  

---

三、输出源

• print() / printToErr() ：把数据通过标准输出或异常输出进行打印
• writeToSocket : 通过socket 进行数据输出；
  结点间传输：
  
  通过socket进行传输：
  

---

四、转换操作

4.1、值 -> 值

（注意先打开端口）

4.1.1、map函数

4.1.2、flatMap函数

4.1.3、filter函数

---

4.2、键值->键值

4.2.1、keyBy函数

4.2.2、reduce函数

使用keyBy(0)

使用keyBy(1)

4.2.3、keyBy+sum函数

我们可以观察到和上面reduce结果是一样的，而且会更为简洁，但是sum只能适用于一些特定情况。

4.2.4、keyBy+window函数