从星型 ETL 到数据仓库

Posted

技术标签:

【中文标题】从星型 ETL 到数据仓库【英文标题】:From starschema ETL to Datawarehouse 【发布时间】:2012-12-10 20:25:19 【问题描述】:

我们正忙于一个学校项目。我们必须建立一个数据仓库,但我卡住了。

我有以下starschema:

dim_location:

Location_key(主键)

城市

dim_condition:

Condition_key(主键)

描述(例如:好、差、非常差、非常好等)

dim_time:

时间键

年份

日期

季度

等等

事实表基础:

Time_Key(外文)

Location_Key(国外)

Condition_Key(外文)

位置维度应该是一个包含各种位置的表格。 条件维度应该是一个包含好、坏、不太坏、非常好等条件的表格。 时间维度应该是一个包含所有日期、季度等的表格。

我应该知道的是: "我想知道某天某地某地有某种状况"

示例: 1 月 20 日的星期一,阿姆斯特丹的情况并不好。

我有一些我应该用来填充这些维度和事实的转储。但我不知道最好的方法是什么,以及如何填写事实表。我已经在 SSIS 中填写了维度,效果很好,但我无法填写事实表。(尝试:多次查找、合并、合并连接) 有人可以分步告诉我我应该如何制作数据仓库并填充它(最好的方法)?

对不起,我的英语不好。

非常感谢您的帮助。

谢谢!!

【问题讨论】:

【参考方案1】:

最简单的开始方法是完全刷新 - 这样您的设计就可以快速适应。因此,从执行 SQL 任务开始截断您的目标表。然后添加一个数据流任务来重新加载您的事实表。从源(通常是 OLE DB)开始。添加查找(通常是完整缓存)以获取您的维度键,每个维度一个。完成一个目标(通常是 OLE DB,具有快速加载和表锁定)以插入数据。

随着您的包成熟,您可以添加增量提取和禁用/重建索引等功能。

祝你好运!

【讨论】:

以上是关于从星型 ETL 到数据仓库的主要内容,如果未能解决你的问题,请参考以下文章

为啥我们需要 SSIS 和数据仓库的星型模式?

数据仓库建模与ETL实践技巧

大数据数据仓库-微软BI SSIS ETL 控件与案例

数据仓库暂存区内的结构

数据仓库 ETL 缓慢 - 更改维度中的主键?

数据仓库模型ETL架构(DWI/DWR/DM)