Kylin系列-使用Saiku+Kylin构建多维分析OLAP平台

Posted 2020-12-02 shujuxiong

关于Kylin的介绍和使用请参考之前的文章
《分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例》
Kylin对外提供的是SQL查询接口，基于Kylin构建OLAP多维分析系统，第一种方案是针对业务，定制开发一个前端界面，将界面上用户的选择和操作，翻译成SQL，提交给Kylin查询。另一种方案则是将Kylin与BI工具整合起来，借助BI工具，对Kylin中的Cube进行查询分析。Kylin本身对于BI工具Tableau可以非常好的整合使用，我自己下载了Tableau的试用版，效果确实不错，官方文档中也给出了详细的教程：

http://kylin.apache.org/cn/docs15/tutorial/tableau_91.html

可惜，Tableau是商业软件，收费的。

本文介绍另一个开源免费的BI工具–Saiku。
Saiku是一个轻量级的OLAP分析引擎，用户可以在非常友好的界面下利用OLAP和内存引擎进行向下钻取，过滤、分类、排序和生成图表。Saiku利用Mondrian完成了界面?MDX?SQL
的转换，最终将SQL通过JDBC提交给Kylin执行。

Github上已经有大神提供了编译好的相关jar包下载：

https://github.com/mustangore/kylin-mondrian-interaction

按照里面的说明，很简单就完成了Saiku+Kylin的整合部署。

 

Saiku中配置Kylin数据源

---

在浏览器输入Saiku的WEB地址：http://172.16.212.17:8080/
用户名密码为:admin/admin

STEP1：编写Mondrian Schema文件

1. <?xml version="1.0"?>
2. <Schema name="ad_schema">  
3. <Cube name="lxw1234_ad_cube2">  
4.     <!-- 事实表(fact table) -->  
5.     <Table name="AD_REPORT" />  
6.     <Dimension name="地域">  
7.         <Hierarchy hasAll="false">  
8.             <Table name="AD_REPORT"></Table>  
9.             <Level name="省份" column="PROVINCE" table="AD_REPORT"></Level>
10.             <Level name="城市" column="CITY" table="AD_REPORT"/>
11.         </Hierarchy>
12.     </Dimension>  
13.  
14.     <Measure name="曝光数" column="IMP_PV" aggregator="sum" datatype="Integer" />
15.     <Measure name="唯一曝光数" column="COOKIEID_IMP" aggregator="distinct-count" datatype="Integer" />
16.     <Measure name="点击数" column="CLK_PV" aggregator="sum" datatype="Integer" />
17.     <Measure name="唯一点击数" column="COOKIEID_CLK" aggregator="distinct-count" datatype="Integer" />
18. </Cube>  
19. </Schema>

 

STEP2：添加Kylin数据源

进入Saiku管理控制台，点击”Add Schema”，将编写好Schema文件上传。

接着点击”Add Data Source”，添加数据源：

STEP3：创建查询

回到Saiku Home主页，点击”Create a new query”，创建查询：

在多维数据下拉菜单中，选择Schema文件中定义好的Cube，自动获取指标和维度，双击指标和维度，在右边的区域即可自动进行查询展示。

Saiku中同样支持上钻、下钻、过滤、排序等操作。

存在的问题

---

在试用期间，发现两个严重的问题，导致Saiku和Kylin的整合甚至不能继续：

1. 事实表和维度表的join方式：

Mondrian中统一使用内关联(Inner Join)的方式将事实表和维度表关联，而Kylin中，我的Cube是将事实表和维度表进行左关联(Left Join)生成的，因此不支持Inner Join的查询。除非像我例子中的，把左右的维度名称都放置到事实表中，不和维度表关联，这样就没有问题。

2. Count Distinct的问题：

Mondrian对于Count Distinct的指标会翻译成SELECT COUNT(*) FROM (SELECT DISTINCT …)的形式，这种查询SQL提交给Kylin，并不支持，因此对于Count Distinct类型的指标无法查询分析。

看来要想很好的使用Saiku+Kylin，这两个问题还有待研究解决。

转自：lxw的大数据田地 » 使用Saiku+Kylin构建多维分析OLAP平台