Flink从入门到精通100篇（二十）-跨境电商 Shopee 的实时数仓之路

Posted 2021-06-27 文宇肃然

前言

本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践，主要内容包括：

• 实时数仓建设背景

• Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景

• 实时任务监控

• Streaming SQL 平台化

• Streaming Job 管理

 

 

建设背景

 

Shopee 是东南亚与台湾领航电商平台，覆盖新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国及越南七大市场，同时在中国深圳、上海和香港设立跨境业务办公室。

 

• Shopee 在2020年第一季的总订单量高达4.298亿，同比增长111.2%。

• 根据 App Annie， Shopee 在2020年第一季强势跻身全球购物类 App 下载量前三名。

• 同时斩获东南亚及台湾市场购物类 App 年度总下载量、平均月活数、安卓使用总时长三项冠军，并领跑东南亚两大头部市场，拿下印尼及越南年度购物类 App 下月活量双冠王。

 

其中包括订单商品、物流，支付，数字产品等各方面的业务。为了支持这些互联网化产品，应对越来的越多的业务挑战，于是我们进行了数据仓库的设计和架构建设。

 

 数据仓库挑战

 

当前随着业务发展，数据规模的膨胀和商务智能团队对实时需求的不断增长，业务挑战越来越大：

 </