理解Kylin中CubeCuboidCube Segment

Posted 杨鑫newlfe

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了理解Kylin中CubeCuboidCube Segment相关的知识,希望对你有一定的参考价值。

  • Cube和Cuboid和Cube Segment

    • Cuboid在kylin中指定在某一种维度组合下所有计算的数据;

    • Cube(Data Cube),即数据立方体,是一种常用于数据分析与索引的基数;它可以对原始数据建立多维度索引。简单来说,一个Cube就是许多按维度聚合的物化视图的集合;

    • Cube Segment是指针对源数据中的某一个片段,计算出来的Cube数据。通常数据仓库中的数据会随着时间的增长而增长,而Cube Segment也是按时间顺序来构建的。注意的是,在增量构建中,相邻两个Segment的时间是连续的;

    • 了解维度和度量,就可以将数据模型上的所有字段进行分类:他们要么是维度,要么是度量,没有第三种字段。根据定义的维度和度量就可以构建Cube了。

    • 对于一个给定的数据模型,我们可以对其上所有的维度进行组合,对于N个维度来说,组合可能性共有2的N次方种。即一个N维的cube,是由1个N维子立方体、N个(N-1)维子立方体、N*(N-1)/2个(N-2)维立方体…N个1维子立方体和1个0维子立方体构成。其实就是排列组合。

    • 对于每一种维度的组合,将度量做聚合运算,然后将运算的结果保存为一个物化视图,成为cuboid。所有的维度组合的cuboid作为一个整理,被称为Cube。

  • 举个例子,假设有维度A、B、C,那么2的3次方共8种。

    • 0 维度 0Dÿ

以上是关于理解Kylin中CubeCuboidCube Segment的主要内容,如果未能解决你的问题,请参考以下文章

原来Kylin的增量构建,大有学问(理解CubeCuboid与Segment的关系)

原来Kylin的增量构建,大有学问(理解CubeCuboid与Segment的关系)

原来Kylin的增量构建,大有学问(理解CubeCuboid与Segment的关系)

Kylin系列—— 入门

Kylin实战—— Kylin Cube构建算法

谈 Kylin1.6 streaming kafka cube build 成功过程中遇到的坑