如何在Hive中更新拉链表

Posted 2022-08-31 斯沃福德

这里写目录标题

• 拉链表
• • 初始条件：
  • 具体操作：
  • • 准备工作：
    • 第一步：让有效数据过期（针对有更新的数据）
    • 第二步：union all 拉链表和临时表update（加上新增和更新的数据）,并导入到tmp表；
    • 第三步：将结果临时表temp 覆盖原始拉链表

拉链表

作用：用来解决历史变更数据是否维护的情况；

用来记录历史数据，记录一个事物从开始一直到当前状态的所有变化的信息。

拉链表有start_time和end_time字段来记录每条数据的生命周期；

有效数据：即指的是数据的end_time=‘9999-12-31’
过期数据：即指的是数据的end_time不等于‘9999-12-31’

初始条件：

ODS层 原始拉链表：

临时表：包含新增和更新的数据

具体操作：

准备工作：

• 【在hive的ODS层】构建临时表 update ，用于存新增、更新数据 ，
• 将mysql中新增、更新的数据导入临时表 update（sqoop）；
• 【在hive的ODS层】构建最终结果临时表 temp，用于存储最终结果， temp会覆盖原始拉链表！

第一步：让有效数据过期（针对有更新的数据）

目的是将需要更新的数据置为过期；
而已经过期的数据则不管；

用ODS原拉链表 LEFT JOIN 临时表update：

当某id原始数据有效（9999-12-31） 且 临时表中有数据！ 则要改编end_time ！
即只需要更新的数据处理，让数据过期；

第二步：union all 拉链表和临时表update（加上新增和更新的数据）,并导入到tmp表；

使用union all 进行上下合并（union会去重）；
+
insert overwrite tmp select * from (以上sql) ;

最终结果：

第三步：将结果临时表temp 覆盖原始拉链表

在更新拉链表时，可能会失败，而在sql中使用到了原始拉链表，如果再覆盖原始拉链表，数据容易出问题；

所以对生成的结果存在最终临时表tmp中，然后再覆盖到原表；