基于mondrain 的原理纠正特殊指标值

Posted 2020-10-02

原文地址：http://www.cnblogs.com/qiaoyihang/p/7348385.html　　

下面有两张表

数学试卷成绩

表1

学号	省份	批次	学校	试卷成绩

数学试卷小题成绩

表2

学号	小题号	分值	成绩

下面是星型模型:

维度:省份，批次，学校 　　　　指标:标准差，信度(比较有代表性)

 

星型模型表

表3

省份(维度)	批次(维度)	学校(维度)	试卷最高分(指标)	试卷标准差(指标)	试卷信度(指标)

 

上面是我的OLAP 星型模型，在我同时选中维度:省份，批次，学校　　指标:信度这个信度是正确的。

如果我要查询省份成绩的试卷信度，在这个情况下

在我选中　　维度:省份　　指标:信度

Mondrian支持sum，count，avg等，如下图

 

但是并不没有信度的计算，同时，信度不能用sum累加，更不能count，min，max进行聚合。

我在从表3中通过省份查询，会得出多条记录。

我如何解决查询选择省份，得出正确的信度值?

 

我解决的方式是:

通过Mondrian的聚合表优化的特性：

下面是三张聚合表:

agg_1(表4)

省份	批次	试卷最高分(指标)	试卷标准差(指标)	试卷信度(指标)

 

agg_2(表5)

省份	学校	试卷最高分(指标)	试卷标准差(指标)	试卷信度(指标)

 

agg_3(表6)

省份	试卷最高分(指标)	试卷标准差(指标)	试卷信度(指标)

 

mondrian的聚合表使用规则是：

agg_1(表4)

agg_2(表5)

agg_3(表6)

上面是三张聚合表，如果我们查询的指标是：试卷最高分, 上面的三张聚合表都身份维度

那么，从上面的任何一张聚合表查询的结果都正确。

刨根究底的人会好奇，mondrian作为OLAP服务器引擎，会查询哪一张聚合表得到结果？

mondrian会首先查询上面所有的聚合表，获取每张表的数据量。

表的数据量关系依次是：  agg_1 > agg_2>agg_3

 

为了提升性能，mondrian会选择数据量最少的表，就是agg_3，数据量最少的表，相应最快。

我就是应用这条规则：

如果我创建了agg_3这张聚合表，mondrian引擎就好选择聚合表agg_3上查询信度，

在星型模型设计器上，

我选择红色圈起来的，其得到的结果都是一样的。

如果，我要查询的维度变了

 

在我选中 　　维度:批次　　指标:信度

 

这个维度时，mondrian引擎，会选择

agg_1(表4)

省份	批次	试卷最高分(指标)	试卷标准差(指标)	试卷信度(指标)

在这种情况下，批次对应了多个省份，

根据批次查询的信度，就是多个省份的信度值

如果前面是sum，查询的结果sum就是多个省份的信度值累加，这是错误的。

如果要查询到正确的信度值

需要创建一张聚合表

agg_batch(表7)

批次	试卷最高分(指标)	试卷标准差(指标)	试卷信度(指标)

这个聚合表只有一个批次维度，查询的信度值才是正确的。

如果 我操作选中

维度:省份，批次　　指标:信度

mondrian引擎，会选择agg_1(表4)，得到的结果才是正确的，这种维度组合，agg_1的结果才会正确。

OK，通过上面的例子，我们对信度指标，聚合表已经有了个大概的了解。

这个设计有个缺点

每一种维度组合，都需要有一种维度表对应，信度，平均分，区分度等指标查询的结果才能保证正确。

需要对OLAP星型模型的所有维度进行组合

组合的结果集为：

如果有5个维度     

取一个维度: C(5,1) 5种组合

取二个维度: C(5,2) 10种组合

取三个维度: C(5,3) 10种组合

取四个维度: C(5,4) 5种组合

取五个维度: C(5,5) 1种组合

总的组合数为： C(5,1)+ C(5,2)+ C(5,3)+ C(5,4)+ C(5,5) = 31种

如果有6个维度

C(6,1)+ C(6,2)+ C(6,3)+ C(6,4)+ C(6,5)+C(6,6) = 63种

如果有8个维度

2的8次方减1等于255种

如果有3个维度

2的3次方减1等于7种

 

一个星型模型的维度是有限的，kylin最大支持15个维度，我觉得，Mondrian也是需要有极限，2的16次方是65 536。

16个维度就产生65 535个聚合表。

通过梳理我们业务，差不多有15到16个维度，但通过去除一些无意义的组合(例如，年份，科目试卷，两个维度只选择一个维度，其OLAP组合没有意义)

维度降低为11个，也就是2047张聚合表。

 

但是，实际应用中。一般模型的维度一般都在8个以内，其聚合表也就是255张表。在计算上是可控的。