Note_Logistics_Day12

Posted 2021-06-16 ChinaManor

---

stypora-copy-images-to: img
typora-root-url: ./

Logistics_Day12：主题及报表开发

01-[复习]-上次课程内容回顾

​ 主要讲解2个方面内容：离线报表分析（SparkSQL）和即席查询分析（Impala），数据都存储在Kudu数据库中，结构化流程序实时消费Kafka数据，ETL转换后存储到Kudu表中。

• 1）、离线报表分析

  • 技术框架（分析引擎）：SparkSQL，数据结构DataFrame/Dataset
  • 按照数据仓库分层管理数据：三层架构（ODS、DWD、DWS），便于管理数据和开发使用
  • 依据主题划分业务报表，每个主题报表开发，需要2步操作：
    • 第一步、事实表（业务数据表）与相关维度表数据进行关联拉宽操作，DWD层
    • 第二步、对宽表数据按照业务指标进行计算，DWS层
  • 公共接口BasicOfflineApp，提供三个方法：load加载数据、process处理数据和save保存