数据仓库 品牌复购率

Posted 2020-12-14 noyouth

分析：

　　完成品牌复购率需要建立一个宽表，宽表里面包括用户信息，商品信息，以及此商品购买的个数，即一个订单，根据订单里面的商品id不同，可能有多条这样的宽表记录。

　　有了宽表后，再做相应的统计工作。

一 用户购买商品明细表（宽表）

建表语句：

订单详情表数据量较大，采用分区表。

drop table if exists dws_sale_detail_daycount;
create external table dws_sale_detail_daycount
(   
    user_id   string  comment ‘用户 id‘,
    sku_id    string comment ‘商品 Id‘,
    user_gender  string comment ‘用户性别‘,
    user_age string  comment ‘用户年龄‘,
    user_level string comment ‘用户等级‘,
    order_price decimal(10,2) comment ‘商品价格‘,
    sku_name string   comment ‘商品名称‘,
    sku_tm_id string   comment ‘品牌id‘,
    sku_category3_id string comment ‘商品三级品类id‘,
    sku_category2_id string comment ‘商品二级品类id‘,
    sku_category1_id string comment ‘商品一级品类id‘,
    sku_category3_name string comment ‘商品三级品类名称‘,
    sku_category2_name string comment ‘商品二级品类名称‘,
    sku_category1_name string comment ‘商品一级品类名称‘,
    spu_id  string comment ‘商品 spu‘,
    sku_num  int comment ‘购买个数‘,
    order_count string comment ‘当日下单单数‘,
    order_amount string comment ‘当日下单金额‘
) COMMENT ‘用户购买商品明细表‘
PARTITIONED BY (`dt` string)
stored as parquet
location ‘/warehouse/gmall/dws/dws_user_sale_detail_daycount/‘
tblproperties ("parquet.compression"="snappy");

数据导入脚本：

①如上分析，这张宽表数据分为3部分，一是用户信息，来自DWD层用户表；二是商品信息表，来自DWD层降维后的商品表；三是此商品的用户购买信息，包括购买的几个，总计多少钱，来自DWD层订单详情表。

②在订单详情表加限制条件where od.dt=‘$do_date‘是因为只统计昨天的数据。

③在商品和用户表的连接加限制条件u.dt=‘$do_date‘是因为商品和用户是采取每日增量导入，昨天的才是最新的数据。

④每个用户，根据商品id，可能有多条记录，在sql上的体现为group by user_id, sku_id。

⑤临时表中count(*) order_count, 表示昨天这个用户购买这个商品的订单有几个，即购买了几次。

#!/bin/bash

# 定义变量方便修改
APP=gmall
hive=/opt/module/hive/bin/hive

# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$1" ] ;then
    do_date=$1
else 
    do_date=`date -d "-1 day" +%F`  
fi 

sql="

set hive.exec.dynamic.partition.mode=nonstrict;

with
tmp_detail as
(
    select 
        user_id,
        sku_id, 
        sum(sku_num) sku_num,   
        count(*) order_count, 
        sum(od.order_price*sku_num)  order_amount
    from "$APP".dwd_order_detail od
    where od.dt=‘$do_date‘
    group by user_id, sku_id
)  
insert overwrite table "$APP".dws_sale_detail_daycount partition(dt=‘$do_date‘)
select 
    tmp_detail.user_id,
    tmp_detail.sku_id,
    u.gender,
    months_between(‘$do_date‘, u.birthday)/12  age, 
    u.user_level,
    price,
    sku_name,
    tm_id,
    category3_id,
    category2_id,
    category1_id,
    category3_name,
    category2_name,
    category1_name,
    spu_id,
    tmp_detail.sku_num,
    tmp_detail.order_count,
    tmp_detail.order_amount 
from tmp_detail 
left join "$APP".dwd_user_info u 
on tmp_detail.user_id=u.id and u.dt=‘$do_date‘
left join "$APP".dwd_sku_info s on tmp_detail.sku_id =s.id  and s.dt=‘$do_date‘;

"
$hive -e "$sql"