基础flink sqlhdfs到hive的逻辑处理一：通过正则获取日志数据

Posted 2023-03-03 roman_日积跬步-终至千里

文章目录

• 一、需求描述
• 二、实现
• • 1. 主要连接器依赖
  • 2. udf：正则获取字段数据
  • 3. sql

一、需求描述

通过正则获取HDFS log日志中指定字段的数据，并输出到HIVE表中。

flink版本1.12.7。

 
 

二、实现

1. 主要连接器依赖

        <!-- filesystem连接器 -->
        <dependency>
            <groupId>org.apache.flink