关于数据仓库的若干想法

Posted 2020-12-17 dlgh

　　今天无意在简书看到一篇文章题目是  数据仓库灵魂30问，感觉这写问题确实需要总结和归纳，先做个标记，后续整理答案。

1.什么是数据仓库？如何构建数据仓库？（如果这个问题回答的好，后面很多问题都不需要再问）

2.如何建设数据中台？可简单说下理解与思路

3.数据仓库、数据中台、数据湖的理解

4.传统数仓的程度（建模工具、ETL工具、BI报表工具、调度系统）

5.传统数仓和大数据数仓的异同？有哪些大的变化？

6.印象最深刻的项目？为什么？亮点与优势？

7.数仓最重要的是什么？

8.实时数仓做过吗？采用什么架构？lambda有哪些优缺点？

9.如何看待kappa架构？iota架构呢？

10.责任心？沟通能力？团队协作？数据思维？

11.用户画像（静态、动态标签，统计、规则、预测标签，衰退系数、标签权重）

12.推荐系统（协同过滤，基于用户、商品，SVD，各种距离算法等）

13.数仓基础理念理解

14.数仓如何确定主题域？CDM？

15.数仓如何分层的？及每一层的作用？思考：为什么要这么分层？

16.数仓有哪几种建模思想？维度建模、范式建模、datavault？.. 有什么优劣，如何选择？

17.SCD的常用处理方式？优劣？与SCD2与拉链表有什么异同？

18.元数据的理解？元数据管理系统？

19.如何控制 数据质量？

20.如何做 数据治理？数据资产管理呢？

21.Hive优化？SQL优化，参数优化

22.数据倾斜 

23.小文件问题

24.order by、sort by、distribute by、cluster by

25.udf、udtf？处理的问题？

26.shuffer优化

27.mysql如何改写row_number

28.连续n天登录用户

29.用户留存、用户活跃、沉默用户、回流用户

30.lag/lead()over()函数、ntile() 等分析函数

31.rollup、cube、grouping sets grouping_id

32.partition和分桶 order by和sort by

作者：Eva菠萝
链接：https://www.jianshu.com/p/6ac75e9a60fe