09-flink-1.10.1- flink的编程风格ＵＤＦ函数

Posted 2022-12-06 逃跑的沙丁鱼

１　实现ＵＤＦ函数

可以更细粒度的对流进行控制

ｆｌｉｎｋ暴露了所有ｕｄｆ函数的接口，实现方式是接口或者抽象类比如MapFunction，FilterFunction，ProcessFunction等等。我们很容易在flink的算子里发现所有的算子都有两份重载的函数，①一个可以直接传入一个lamda表达式，②一个可以传入一个函数类，这里的UDF函数说的就是②说说的函数类

package com.study.liucf.unbounded.udf

import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.FilterFunction

/**
 * @Author liucf
 * @Date 2021/9/12
 *      过滤以agrKey开头的数据
 */
class LiucfFilterUdfFun(agrKey:String) extends FilterFunction[LiucfSensorReding]
  override def filter(value: LiucfSensorReding): Boolean = 
    value.id.startsWith(agrKey)
  

package com.study.liucf.unbounded.udf

import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.FilterFunction
import org.apache.flink.streaming.api.scala._

/**
 * @Author liucf
 * @Date 2021/9/12
 */
object FilterUDFTest 
  def main(args: Array[String]): Unit = 
    //创建flink执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    //读取数据
    val inputStream: DataStream[String] = env.readTextFile("src\\\\main\\\\resources\\\\sensor.txt")
    //转换数据类型 string 类型转换成LiucfSensorReding,求最小值
    val ds = inputStream.map(r=>
      val arr = r.split(",")
      LiucfSensorReding(arr(0),arr(1).toLong,arr(2).toDouble)
    )
        //.filter(d=>d.id.startsWith("sensor_1"))//① lamda表达式方式，输出以sensor_1开始的传感器的温度
        //.filter(_.id.startsWith("sensor_1")) //② 匿名函数的方式，输出以sensor_1开始的传感器的温度
        //.filter(new LiucfFilterUdfFun("sensor_1"))//③ UDF 函数类的方式，输出以sensor_1开始的传感器的温度
        .filter(new FilterFunction[LiucfSensorReding] //④ 匿名函数类的方式,输出以sensor_1开始的传感器的温度
          override def filter(value: LiucfSensorReding): Boolean = 
            value.id.startsWith("sensor_1")
          
        )

    ds.print()
    //启动flink执行
    env.execute("liucf FilterUDF test")
  

2 Rich Function

“富函数”是DataStream API提供的一个函数类的接口，所有flink函数类都有Rich Function版本，它与常规函数类的不同在于，可以获取应行时的上下文，并拥有一些生命周期方法，所以可以实现一些更复杂的功能。比如RichMapFunction，RichFlatMapFunction，RichFilterFunction。

Rich Function 有一个生命周期的概念，典型的生命周期方法有

package com.study.liucf.unbounded.udf

import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.FilterFunction, RichFilterFunction
import org.apache.flink.configuration.Configuration

/**
 * @Author liucf
 * @Date 2021/9/12
 */
/**
 * 普通的函数类
 * @param argKey
 */
class LiucfFilterFunction(argKey:String) extends FilterFunction[LiucfSensorReding]

  override def filter(value: LiucfSensorReding): Boolean = 
    value.id.startsWith("sensor_1")
  


/**
 * 富有函数类
 * @param argKey
 */
class LiucfRichFilterFunction(argKey:String) extends RichFilterFunction[LiucfSensorReding]
  override def filter(value: LiucfSensorReding): Boolean = 
    value.id.startsWith("sensor_1")
  

  //生命周期函数
  override def open(parameters: Configuration): Unit = 
    setRuntimeContext(getRuntimeContext)
    
  
// 生命周期函数
  override def close(): Unit =