笔记杭银消金基于 Apache Doris 1.2 最新版本的风控数据集市升级改造

Posted 2023-03-08 宝哥大数据

一、介绍

1.1、业务介绍

1.2、业务需求

1.3、架构演变

1.3.1、1.0架构

GP数仓： 业务数据
MongoDB: 风控决策数据
ES: 实时数据

聚合到 Hive 数仓

1.3.2、2.0架构

基于doris-1.2实现

doris集群配置

升级架构的收益

1.4、未来展望

1.4.1、数据平台3.0

1.4.2、升级策略