基于Seatunnel连通Hive数仓和ClickHouse的实战

Posted 2022-03-23 大数据技术与架构

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于Seatunnel连通Hive数仓和ClickHouse的实战相关的知识，希望对你有一定的参考价值。

目前公司的分析数据基本存储在 Hive 数仓中，使用 Presto 完成 OLAP 分析，但是随着业务实时性增强，对查询性能的要求不断升高，同时许多数据应用产生，比如对接 BI 进行分析等，Presto不能满足需求，在这个阶段我们引入了ClickHouse，用来建设性能更强悍，响应时间更短的数据分析平台，以满足实时性要求，但如何连通 Hive 数仓和ClickHouse呢？没错，当然是 Seatunnel 啦！

官方推荐的
seatunnel1.5.7+spark2.4.8+scala2.11

全部解压安装到/u/module下即可

[hadoop@hadoop101 module]$ unzip /u/software/19.Seatunnel/seatunnel-1.5.7.zip -d /u/module/

[hadoop@hadoop101 module]$ tar -zxvf /u/software/19.Seatunnel/spark-2.4.8-bin-hadoop2.7.tgz -C /u/module

[hadoop@hadoop101 module]$ tar -zxvf /u/software/19.Seatunnel/scala-2.11.8.tgz -C /u/module

将 hive-site.xml 复制到 spark2/conf 目录下，这里取的是从 hive 复制到 Hadoop 配置目录下的

[hadoop@hadoop101 module]$ cp $HADOOP_CONF/hive-site.xml /u/module/spark-2.4.8-bin-hadoop2.7/conf

注意：如果你跟我一样，原来 Hive 默认使用Spark3，那么需要设置一个 Spark2 的环境变量

[hadoop@hadoop101 module]$ sudo vim /etc/profile

Hive：
drop table 使用cat <<!EOF把变量传进去，把脚本生成在jobs文件夹中，然后再使用 seatunnel 的命令执行
关键点：
将输入参数封装成一个方法，方便一个脚本操作多个数仓表;
加入CK远程执行命令，插入前清除分区，以免导入双倍数据;
加入批量执行条件;
[hadoop@hadoop101 module]$ touch ~/bin/mytest.sh && chmod u+x ~/bin/mytest.sh && vim ~/bin/mytest.sh
注意：
这边 hive 中表压缩格式是 parquet+lzo ，读取出来没问题，插入时报错，我直接将之前搭建 Hadoop集群时$HADOOP_HOME/share/hadoop/common/hadoop-lzo-0.4.20.jar放到/u/module/spark-2.4.8-bin-hadoop2.7/jars（spark 目录下的 jars ）下，即可解决
若 hive 表中有做分区，则需指定 spark.sql.hive.manageFilesourcePartitions=false
本文主要分享了一个基于 Seatunnel 的生产力脚本，介绍了如何连通 Hive 数仓与 ClickHouse ，将 ClickHouse 无缝加入离线数仓流程，并进行流程测试。实际生产使用时，数据传输速度飞快。

如果这个文章对你有帮助，不要忘记「在看」「点赞」「收藏」三连啊喂！

2022年全网首发|大数据专家级技能模型与学习指南(胜天半子篇)

互联网最坏的时代可能真的来了

我在B站读大学，大数据专业

我们在学习Flink的时候，到底在学习什么？

193篇文章暴揍Flink，这个合集你需要关注一下

Flink生产环境TOP难题与优化，阿里巴巴藏经阁YYDS

Flink CDC我吃定了耶稣也留不住他！| Flink CDC线上问题小盘点

我们在学习Spark的时候，到底在学习什么？

在所有Spark模块中，我愿称SparkSQL为最强！

硬刚Hive | 4万字基础调优面试小总结

数据治理方法论和实践小百科全书

标签体系下的用户画像建设小指南

4万字长文 | ClickHouse基础&实践&调优全视角解析

【面试&个人成长】2021年过半，社招和校招的经验之谈

大数据方向另一个十年开启 |《硬刚系列》第一版完结

我写过的关于成长/面试/职场进阶的文章

当我们在学习Hive的时候在学习什么？「硬刚Hive续集」

`hadoop离线day08--数据仓库Apache Hive`


hadoop离线day08--数据仓库、Apache Hive 

今日内容大纲 
#1、数据仓库基础知识 
    数仓是什么 数据分析的平台 面向分析
    数仓由何而来
    数仓核心特性
    数仓和数据库区别
        解决一个核心的误区：数仓绝不是大型数据库。~~~ 凉凉
        OLTP  T 事务
        OLAP  A 分析
    数仓的分层架构 
#2、当下大数据领域最著名的数仓软件  Apache Hive
    Hive是什么 数仓
        基于Hadoop的数仓  如何理解和Hadoop关系
    核心功能：
        1、将结构化文件映射成为一张表（Table）
        2、基于表提供了SQL分析能力 （Hive SQL HQL,类SQL）
    本质：用户HQL--->Hive转换MR--->数据分析    
    Hive架构组件
    Hive搭建安装
        不是分布式软件 分布式能力基于Hadoop实现
        metastore  metadata
        远程模式部署安装
        客户端使用 IDEA中使用 
    
#3、 HQL--DDL--Create Table 
     DDL 数据定义语言  表结构信息
     建表语句及其重要 占比99.9999%
   

数据仓库基础 
 数据仓库概念 
   检测数仓。英文叫做Data WareHouse,简称DW。
 
 是一个集成化的数据分析平台，面向分析，开展分析。分析结果给企业提供决策支撑。
 
 数仓本身不生产数据
 其数据来自于各种数据源

RDBMS关系型数据库--->业务数据
log file----->日志文件数据
爬虫数据
其他数据
 
 数仓本身也不消费数据
 其分析的结果给外部各种数据应用（Data application）来使用。

Data visualization（DV）数据可视化
Data Report 数据报表
Data Mining(DM) 数据挖掘
Ad-Hoc 即席查询：
    即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。
 
 数仓核心特性 
   面向主题性
 分析主题  主题是一个抽象概念 分析数据的综合体
一个分析的主题可以对应多个数据源
 
 集成性
 数仓本身不产生数据 其分析的主题数据来自于各个不同的数据源 需要集成到数仓主题下面。
因为主题的数据来自于不同的数据源 可能会存在差异  数据源之间不同的结构
集成到主题下面的要保证数据格式是干净规整统一的结构化数据。

需要持续的动作 ：ETL（抽取 Extra, 转化 Transfer, 装载 Load）
 
 非易失性（不可更新性）
 数仓上面的数据几乎没有修改操作，都是分析的操作。

数仓是分析数据规律的平台 不是创造数据规律的平台。

指的数据之间的规律不能修改。

当下发现有些时间也是需要修改的  数据校正。数据缓慢变化。


#当下所学的侧重于离线数据 分析的数据都是历史数据 过去的数据  t+1 t+7 
#后面还会接触实时数仓   kafka+flink
 
 时变性
 数仓中主题数据站在时间的维度会明显成批次变化。
一天一分析 一周一分析  批次分析Batch 

batch(天 月 离线)---> batch（秒 spark Streaming 微批处理）--->Stream(毫秒 flink storm)
 
 数据仓库和数据库 
   本质就是OLTP、OLAP系统之间的区别。
 
 OLTP：On-Line Transaction Processing 联机事务处理。
 OLTP系统注重的是数据安全、完整、响应效率。通常指的就是RDBMS关系型数据库。

#面向事务 支持事务

#RDBMS: MySQL ORACLE

#注意 不是NoSQL数据库 没有事务支持： Redis HBase
 
 OLAP：On-Line Analytical Processing 联机分析处理。 中文发音：欧莱普
 OLAP系统注重的数据分析。主要指的是数据仓库、数据集市（小型数仓）、面向分析数据库、面向分析的软件

#面向分析 支持分析

#数据仓库：Apache Hive 、Apache impala、Apache Kylin
 
 结论 
     数据仓库绝不是大型数据库，即使外表与语法跟数据库很类似。
 
 数据仓库也没有要取代数据库的职责，主要用于数据分析领域 而不是事务领域。
 
 数据仓库分层架构 
   根据数仓数据的流入流出
 
 最基本、最经典的3层架构 企业实际中根据需求构建其他层
 
 具体： 
     ODS 源数据层 操作型数据存储层
 把各个数据源数据拉取过来存储 解耦 临时存储 数据之间一般差异较大 不用于直接分析
 
 DW 数仓层 核心
 其数据来自于ODS经过层层的ETL变成各种模型的数据  数据干净规则 统一
基于各种模型开展各种分析

企业中根据业务复杂度 继续在DW中继续划分子层。 存储大量的中间结果。
 
 DA 数据应用层
 最终消费数仓的数据的。
数据报表 数据挖掘
 
 数仓为什么要分层？ 
   解耦合
 
 空间换时间 提高最终应用层使用数据的效率
 

Apache Hive 
 Hive 是基于Hadoop 的一个数据仓库工具，来自于Facebook开源贡献出来。是面向分析的工具。
 
 为什么数是基于Hadoop？
 #一款合格的数仓软件应该具备什么？
    1、具备存储数据的能力？
    2、具备数据分析的能力？
hive作为数仓软件，当然也具备上述功能，只不过基于Hadoop实现的。
    1、数据存储--->Hadoop HDFS
    2、数据分析、计算--->Hadoop MapReduce

#基于上述原因，说Hive是基于Hadoop的。    
 
 在此过程中，Hive做了什么？其最大的魅力在哪里？ 
   将结构化的数据文件 映射 为一张数据库表
 #什么叫做映射
映射指的就是一种对应关系。y=2x+1

结构化文件  <---映射--->  表
 
 并提供类 SQL 查询功能 让用户编写SQL实现数据分析。
 Hive SQL--->MapReduce--->数据分析
 
 Hive的架构组件 
   用户接口
 提供一种方式给用户写HQL。
包括CLI、JDBC、WebUI
 
 Hive Driver驱动服务
 hive的核心
完成从接受HQL到编译成为MR程序的过程。
sql解释 编译 校验 优化 制定计划
 
 元数据存储
 元数据指的是描述性数据 记录数据的数据。

在hive中，元数据指的是表和结构化文件之间的各种映射关系。基于这种关系才能正确的操作文件。

元数据通常保存在RDBMS中。
 
 Hadoop组件 
     执行引擎 
       默认使用MapReduce来处理的，现在还支持其他引擎，比如Tez、Spark.
 
 存储组件 
       HDFS、HBase
 
 结论：Hive本身不是分布式的软件，只需要单机部署即可，但是具备分布式的能力。
 分布式存储和分布式计算的能力是依托Hadoop实现的。

Hive专职与sql转MR的过程。
 
 Hive和数据库关系 
   从外表、形式模型、语法各层面上看 ，hive和数据库（Mysql）很类似。
 
 底层应用场景是完全不一样的。
 
 hive属于olap系统 是面向分析的侧重于数据分析（select）
 
 数据库属于oltp系统 是面向事务的 侧重于数据时间交互（CRUD）
 
 Hive绝不是大型数据库 也不是为了要取代MySQL这样的数据库。
 

Apache Hive安装部署 
 前置知识：元数据相关的 
   metadata 元数据
 指的是元数据，hive中指的是表和文件之间的映射关系。
元数据存储在rdbms中，主要有两种
    1、使用Hive内置的Apache derby(内存轻量级RDBSM low)
    2、使用外置第三方的 MySQL
 
 metastore 元数据服务
 访问Hive元数据的服务 某种程度上保证了metadata的安全。
 
 Hive的3种部署模式和上述的两个概念有关。 
   metadata存储在哪里？
 
 metastore服务是否需要单独配置，单独启动？还是集成在Hive驱动中一起启动。
 
 Hive3种部署方式 
   区别：
 1、metadata存储在哪里？
2、metastore服务是否需要单独配置，单独启动？还是集成在Hive驱动中一起启动。
 
 内嵌模式
 1、使用内置Derby存储元数据
2、metastore集成在Hive中 不需要单独配置 不需要单独启动

适合体验场景。
 
 本地模式
 1、使用MySQL来存储元数据。
2、metastore集成在Hive中 不需要单独配置 不需要单独启动

适合测试场景。
 
 远程模式
 #1、使用MySQL来存储元数据。
#2、metastore单独配置 单独启动 全局唯一。

<!-- 远程模式部署metastore metastore地址 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083</value>
</property>

适合生产环境。
 
 本课程中使用远程模式部署安装，真实使用环境。
 
 Hive的远程模式安装 
   服务器基础环境
 
 依赖Hadoop、MySQL。保证服务启动且可用。
 HDFS安全模式等待结束。
MySQL的权限。
 
 step1:修改Hadoop配置core-site.xml 设置hive代理用户。 3台机器都需要修改，重启生效。
 <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
 
 step2:上传Hive安装包 解压 重命名（只需要在node1安装即可）
 
 step3:修改hive的配置文件 
     hive-env.sh
 export HADOOP_HOME=/export/server/hadoop-2.7.5
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib
 
 hive-site.xml
 <configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hadoop</value>
</property>
<!-- H2S运行绑定host -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node1</value>
</property>
<!-- 远程模式部署metastore metastore地址 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083</value>
</property>
<!-- 关闭元数据存储授权 -->
<property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
</property>
<!-- 关闭元数据存储版本的验证 -->
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>
</configuration>
 
 step4:添加mysql驱动和hive-jdbc-2.1.0-standalone.jar 到hive中 
     mysql驱动
 mysql-connector-java-5.1.32.jar
 
 jdbc-standalong.jar
 cp /export/server/hive/jdbc/hive-jdbc-2.1.0-standalone.jar /export/server/hive/lib/
 
 step5:手动初始化metastore
 cd /export/server/hive/

bin/schematool -dbType mysql -initSchema 
 
 step6:启动metastore服务 
     前台启动
 /export/server/hive/bin/hive --service metastore

#关闭方式ctrl+c 结束metastore服务
 
 后台挂起启动
 nohup /export/server/hive/bin/hive --service metastore &

#nohup命令，在默认情况下（非重定向时），会输出一个名叫nohup.out 的文件到当前目录下

#关闭使用jps查看进程 Runjar 配合kill -9
 

Hive CLI命令行客户端 
 概述 
   Hive发展至今，存在着两代版本的命令行客户端。
 
 第一代是属于shell客户端 bin/hive
 
 第二代是属于jdbc客户端 bin/beeline
 
 第一代客户端 
   命令：bin/hive
 
 需要访问：metastore服务
 
 配置
 <!-- 远程模式部署metastore metastore地址 -->
<configuration>
<!-- 远程模式部署metastore metastore地址 -->
<property>
        <name>hive.metastore.uris</name>
        <value>thrift://node1:9083</value>
</property>
</configuration>
 
 演示：为了模拟企业环境 scphive安装包到node3机器上。
 
 hive 服务（node1） <------------ hive客户端
 
 第二代客户端 
   命令：bin/beeline
 
 需要访问：hiveserver2服务（需要访问的是metastore服务）
 
 客户端不需要任何配置 在服务器需要添加参数
 <!-- HS2运行绑定host -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node1</value>
</property>
 
 启动服务
 nohup /export/server/hive/bin/hive --service metastore &

nohup /export/server/hive/bin/hive --service hiveserver2 &
 
 beeline可以连接
 /export/server/hive/bin/beeline

beeline> ! connect jdbc:hive2://node1:10000   #JDBC地址
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root #用户名 需要具备在HDFS操作权限
Enter password for jdbc:hive2://node1:10000:      #密码 可以为空
Driver: Hive JDBC (version 2.1.0)
21/06/01 16:44:36 [main]: WARN jdbc.HiveConnection: Request to set autoCommit to false; Hive does not support autoCommit=false.
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1:10000> 
 
 Hive体验 
   目的：如何才能在Hive中创建一张表并且成功映射一份结构化的数据文件。
 
 猜想1：表字段顺序、个数、类型要和文件一致吗？ 必须一致。
 如果不一致，Hive会尝试进行类型转换，但是不保证转换成功，如果成功显示内容，不成功显示null.
 create table t_1(id int,name string,age int);--没有指定分隔符

create table t_2(id int,name string,age int) row format delimited fields terminated by ',';

create table t_3(id string,name int,age int) row format delimited fields terminated by ','; --类型和文件不一样
 
 猜想2：文件位置放置在HDFS哪里？ 放在对应的目录下？ 一定要放在这里吗？ 不一定
 #在hive中创建的表 默认在HDFS有与之对应的目录
/user/hive/warehouse/数据库名.db/表名
 
 猜想3：必须要指定文件的分隔符？ 不一定。
 
 为什么 要追求建表的时候映射成功文件？ 
     因为映射成功才有表 ，表才有数据，有数据才可以写sql进行分析。
 
 没有表，表没有数据，分析个锤子。
 

Hive SQL DDL--Create Table 
 IF NOT EXISTS 
   功能：忽略表已经存在的异常。
 
0: jdbc:hive2://node1:10000> create table t_2(id int,name string,age int) row format delimited fields terminated by ',';
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. AlreadyExistsException(message:Table t_2 already exists) (state=08S01,code=1)
0: jdbc:hive2://node1:10000> creaeadaa table t_2(id int,name string,age int) row format delimited fields terminated by ',';
Error: Error while compiling statement: FAILED: ParseException line 1:0 cannot recognize input near 'creaeadaa' 'table' 't_2' (state=42000,code=40000)

--Error while processing statement 执行期间的错误 执行逻辑问题 sql本身没问题

--Error while compiling statement  编译期间的错误  SQL语法问题 关键字 功能是否支持  语法顺序
 
 Hive的数据类型 
   除了支持SQL类似之外，还支持Java数据类型。
 
 Hive中大小写不敏感。
 
 Hive除了支持基本数据类型之外，还支持复杂（复合）数据类型。比如：Array数组、Map映射。
 
 针对复合数据类型，在建表的时候必须配合分隔符指定语法才可以正确解析。
 
 Hive的数据类型转换 
     默认隐式转换 虽然可以自动转换一些类型 但是最好自己根据数据确定准确的类型。避免转换失败。
 
 用户显示转换 cast(类型 as 新类型)
 
 Hive SerDe机制 
   背景：Hive究竟如何读写HDFS上面的文件。
 HDFS files --> InputFileFormat --> <key, value> --> Deserializer --> Row object
Row object --> Serializer --> <key, value> --> OutputFileFormat --> HDFS files

#读文件流程 映射文件流程

1、通过InputFormat类读取文件 默认实现TextInputFormat
   一行一行的读取数据

2、然后通过SerDe类进行反序列化 默认实现LazySimpleSerDe   
   在反序列化的时候 需要指定分隔符切割数据 对应上表的字段
   
#写文件流程
Row object --> Serializer --> <key, value> --> OutputFileFormat --> HDFS files
 
 分隔符指定 
   语法
 row format delimited | serde serde_name

--row format 表明开始指定分隔符
    --delimited  使用默认SerDe类进行序列化（LazySimpleSerDe）
    --serde serde_name 指定使用其他的SerDe类进行序列化  比如JsonSerDe
 
 delimited 子语法
 [fields terminated by char]   --指定字段之间的分隔符
[collection items terminated by char] --指定集合元素之间的分隔符
[map keys terminated by char]    --指定map类型数据key value之间的分隔符
[lines terminated by char]       --指定换行符
 
 栗子
 --Array类型数据分别使用String和Array来建表 如何？

--以Array映射文件
create table t_array(name string,work_locations array<string>) row format
delimited fields terminated by '\\t' collection items terminated by ',';
+---------------+----------------------------------------------+--+
| t_array.name  |            t_array.work_locations            |
+---------------+----------------------------------------------+--+
| zhangsan      | ["beijing","shanghai","tianjin","hangzhou"]  |
| wangwu        | ["shanghai","chengdu","wuhan","haerbin"]     |
+---------------+----------------------------------------------+--+
    
--以string映射文件   
create table t_string(name string,work_locations string) row format
delimited fields terminated by '\\t';

+----------------+------------------------------------+--+
| t_string.name  |      t_string.work_locations       |
+----------------+------------------------------------+--+
| zhangsan       | beijing,shanghai,tianjin,hangzhou  |
| wangwu         | shanghai,chengdu,wuhan,haerbin     |
+----------------+------------------------------------+--+

--需求：查询每个用户的第二个工作城市
select  split(work_locations,",")[1] from t_string;
select  work_locations[1] from t_array;
 
 Hive默认的分隔符 
   在建表的时候，如果不写row format语法，此时采用默认分隔符对数据字段进行切割
 
 如果此时文件中的分隔符也是默认分隔符 就可以实现不指定分隔符也可以建表成功。
 
 默认分隔符是不可见分隔符，代码\\001
 
 在vim编辑器中如何输入：连续输入ctrl+v ,ctrl+a
 
 在企业中，如何涉及到数据清洗处理，有意识使用\\001进行数据分割 便于入库分析。
 public String toString() 
    return upFlow+"\\001"+downFlow+"\\001"+sumFlow;
 
 Hive的外部表、内部表 
   区别： 
     1、建表的时候是否有external关键字，如果有就是外部表，如果没有就是内部表。
 
 2、在drop删除表的时候 
       删除内部表，hive表的信息（元数据）和HDFS上映射的文件都被删除
 因为内部表，hdfs上文件也被hive控制，所以也叫做受控表 manage table.


 
 删除外部表，只删除hive的表信息。
 
 栗子
 --内部表
create table student_inner(Sno int,Sname string,Sex string,Sage int,Sdept string) row format delimited fields terminated by ',';

--建外部表
create external table student_ext(Sno int,Sname string,Sex string,Sage int,Sdept string) row format delimited fields terminated by ',';
 
 选择使用外部表，在某种程度上，保证了HDFS上数据安全。
 
 Location语法 
   功能：指定Hive表映射的文件在HDFS上存储的路径
 
 默认路径：/user/hive/warehouse/数据库名.db/表名
 
 可以使用location指定在hdfs任意路径
 --在HDFS的/stu目录下 有一个结构化的数据文件  建表映射它
create external table student_location(Sno int,Sname string,Sex string,Sage int,Sdept string) row format delimited fields terminated by ',' location '/stu';
 
 建议使用同一的目录来管理hdfs数据。有规律便于管理。
 
以上是关于基于Seatunnel连通Hive数仓和ClickHouse的实战的主要内容，如果未能解决你的问题，请参考以下文章 
 hadoop离线day08--数据仓库Apache Hive
 数仓和数据中台长期霸权结束，数据湖最稳！
 Seatunnel实战：hive_to_starrocks
 终于有人把实时数仓和流式计算讲明白了！
 通过apache seatunnel将mysql数据和hive同步
 SQLDeveloper连接Hive使用说明