MYSQL模拟hive仓库拉链表实现

Posted 保护胖仔

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MYSQL模拟hive仓库拉链表实现相关的知识,希望对你有一定的参考价值。

创建mysql 数据库

create database  if not exists demo;

创建MySQL 数据库 业务数据表

create table if not exists demo.t_product (
    goods_id varchar(255),      -- 商品编号
    goods_status varchar(255),  -- 商品状态
    createtime varchar(255),    -- 商品创建时间
    modifytime varchar(255)     -- 商品修改时间
);

录入2019-12-20日 业务数据到 业务型数据库中

insert into `demo`.`t_product`(goods_id, goods_status, createtime, modifytime) values
('001', '待审核', '2019-12-18', '2019-12-20'),
('002', '待售', '2019-12-19', '2019-12-20'),
('003', '在售', '2019-12-20', '2019-12-20'),
('004', '已删除', '2019-12-15', '2019-12-20');
select * from demo.t_product;
/*
    001	待审核	2019-12-18	2019-12-20
    002	待售	2019-12-19	2019-12-20
    003	在售	2019-12-20	2019-12-20
    004	已删除	2019-12-15	2019-12-20
 */

这里继续使用mysql ,模仿hive数据仓库过程

创建hive表 首先创建ODS ,ODS 原始数据层 和 业务数据库数据保持一致=

ods_product(省略设置分区条件 partitioned by (dt string)

create table if not exists demo.ods_product(
    goods_id varchar(255),        -- 商品编号
    goods_status varchar(255),    -- 商品状态
    createtime varchar(255),      -- 商品创建时间
    modifytime varchar(255)       -- 商品修改时间
);

全量导入hive的 ods_product 表中

insert into demo.ods_product select * from demo.t_product;
select * from demo.ods_product;
/*
001	待审核	2019-12-18	2019-12-20
002	待售	2019-12-19	2019-12-20
003	在售	2019-12-20	2019-12-20
004	已删除	2019-12-15	2019-12-20
 */

hive仓库 创建临时表 dw_product 不一定是DW ,ODS过滤无效字段 或者将数据补全啊 也都可以做的

这里 字段都有用 所以 都要,多两个时间戳字段

create table if not exists demo.dw_product(
    goods_id varchar(255),        -- 商品编号
    goods_status varchar(255),    -- 商品状态
    createtime varchar(255),      -- 商品创建时间
    modifytime varchar(255),       -- 商品修改时间
    dw_start_date varchar(255),   -- 生效日期
    dw_end_date varchar(255)      -- 失效日期
);

将ods_product 数据导入拉链表中

insert into demo.dw_product
                select
                                goods_id,
                                goods_status,
                                createtime,
                                modifytime,
                                modifytime as 'dw_start_date',
                                '9999-12-31' as 'dw_end_date'
from demo.ods_product;
select * from demo.dw_product ;
/*
001	待审核	2019-12-18	2019-12-20	2019-12-20	9999-12-31
002	待售	2019-12-19	2019-12-20	2019-12-20	9999-12-31
003	在售	2019-12-20	2019-12-20	2019-12-20	9999-12-31
004	已删除	2019-12-15	2019-12-20	2019-12-20	9999-12-31
 */

现业务数据库t_product中 数据 发生 更新 和 插入 操作 时间为2019-12-21

001 商品的Status状态由 待审核 变为 待售

新增005 006商品

UPDATE demo.t_product SET goods_status = '待售', modifytime = '2019-12-21' WHERE goods_id = '001';
INSERT INTO demo.t_product(goods_id, goods_status, createtime, modifytime) VALUES
('005', '待审核', '2019-12-21', '2019-12-21'),
('006', '待审核', '2019-12-21', '2019-12-21');
select * from demo.t_product;
/*
001	待售	2019-12-18	2019-12-21
002	待售	2019-12-19	2019-12-20
003	在售	2019-12-20	2019-12-20
004	已删除	2019-12-15	2019-12-20
005	待审核	2019-12-21	2019-12-21
006	待审核	2019-12-21	2019-12-21
 */

我们知道 ods层要和业务数据库保持一致 所以 hive中要做overwrite操作

我们模仿 所以 truncate ,进行 insert into操作 将业务数据导入ods层

truncate table demo.ods_product;
insert into demo.ods_product select * from demo.t_product;

接下来 保存 新增的数据到拉链表中,同时 修改 已经发生变化的数据 并修改end时间戳

1. 先把之前的历史数据结束时间修改掉 left join

select
    dw.goods_id,
    dw.goods_status,
    dw.createtime,
    dw.modifytime,
    dw.dw_start_date,
-- 右表ods的ID 进行关联 不为null,并且dw的结束时间为9999-12-31
       # 不为null 表示 左边也有这条数据 ,结束时间为9999-12-31 说明是最新的/上一条 数据 我们进行判断修改
case when (ods.goods_id is not null and dw.dw_end_date = '9999-12-31')
    then ods.modifytime
    else dw.dw_end_date
    end as dw_end_date
from  demo.dw_product dw
left join
(select * from demo.ods_product where modifytime='2019-12-20') ods
on dw.goods_id = ods.goods_id;
/*
001	待审核	2019-12-18	2019-12-20	2019-12-20	2019-12-21   可以看出 001 发生数据被修改
002	待售	2019-12-19	2019-12-20	2019-12-20	2019-12-20
003	在售	2019-12-20	2019-12-20	2019-12-20	2019-12-20
004	已删除	2019-12-15	2019-12-20	2019-12-20	2019-12-20
 */

2. 关联新增的数据 用union

还是 之前创建的 那块代码 照搬

/*
select
ods.goods_id, -- 商品编号
ods.goods_status, -- 商品状态
ods.createtime, -- 商品创建时间
ods.modifytime, -- 商品的修改时间
ods.modifytime as dw_start_date,
'9999-12-31' as dw_end_date
from demo.ods_product ods where modifytime = '2019-12-21';
 */

实现

insert into  demo.dw_product
-- 1. 先把之前的历史数据结束时间修改掉
select
    dw.goods_id,
    dw.goods_status,
    dw.createtime,
    dw.modifytime,
    dw.dw_start_date,
-- 右表ods的ID 进行关联 不为null,并且dw的结束时间为9999-12-31
       # 不为null 表示 左边也有这条数据 ,结束时间为9999-12-31 说明是最新的/上一条 数据 我们进行判断修改
case when (ods.goods_id is not null and dw.dw_end_date = '9999-12-31')
    then ods.modifytime
    else dw.dw_end_date
    end as dw_end_date
from  demo.dw_product dw
left join
(select * from demo.ods_product where modifytime='2019-12-20') ods
on dw.goods_id = ods.goods_id
-- 2. 关联本次新增数据
union all
select
ods.goods_id,
ods.goods_status,
ods.createtime,
ods.modifytime,
ods.modifytime as dw_start_date,
'9999-12-31' as dw_end_date
from demo.ods_product ods where modifytime = '2019-12-21';

原dw数据

/*
001	待审核	2019-12-18	2019-12-20	2019-12-20	9999-12-31
002	待售	2019-12-19	2019-12-20	2019-12-20	9999-12-31
003	在售	2019-12-20	2019-12-20	2019-12-20	9999-12-31
004	已删除	2019-12-15	2019-12-20	2019-12-20	9999-12-31
*/
select * from demo.dw_product;

最终效果

/*
001	待审核	2019-12-18	2019-12-20	2019-12-20	9999-12-31
002	待售	2019-12-19	2019-12-20	2019-12-20	9999-12-31
003	在售	2019-12-20	2019-12-20	2019-12-20	9999-12-31
004	已删除	2019-12-15	2019-12-20	2019-12-20	9999-12-31
这个 以下为 我们想要的数据 因为上面我们使用的MySQL模仿hive 使用的MySQL 的 insert ino 
不是hive的 insert overwrite table 
001	待审核	2019-12-18	2019-12-20	2019-12-20	9999-12-31
002	待售	2019-12-19	2019-12-20	2019-12-20	2019-12-20
003	在售	2019-12-20	2019-12-20	2019-12-20	2019-12-20
004	已删除	2019-12-15	2019-12-20	2019-12-20	2019-12-20
001	待售	2019-12-18	2019-12-21	2019-12-21	9999-12-31
005	待审核	2019-12-21	2019-12-21	2019-12-21	9999-12-31
006	待审核	2019-12-21	2019-12-21	2019-12-21	9999-12-31
 */

以上是关于MYSQL模拟hive仓库拉链表实现的主要内容,如果未能解决你的问题,请参考以下文章

MYSQL模拟hive仓库拉链表实现

MYSQL模拟hive仓库拉链表实现

大数据Hive3.x数仓开发数仓中数据发生变化如何实现数据存储--拉链表详解

数据仓库之拉链表设计

大数据Hive拉链表的设计与实现

每日一学数据仓库之全量表增量表拉链表流水表