saiku 分布式实践

Posted 李秋

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了saiku 分布式实践相关的知识,希望对你有一定的参考价值。

saiku比较吃内存,一旦人多了,那么内存可能不够,所以会考虑主从结构,分担压力。为了保证数据的稳定性,也会有类似的考虑,那么问题来了,如何实现saiku的分布式搭建哪?

我阅读了一些国内的文章,没有发现类似的经验,自己摸索了一个方案,简单粗暴,可是能用,大家参考!

首先saiku使用的jackrabbit保存的元数据结构,而他使用repository文件夹保存数据,所以分布式必然要共享文件夹里面的文件,加上saiku升级也是保留这个文件夹,所以我确信如此。

大体思路如下图:

由于公司不支持mount的策略,我这里使用的是定时同步文件的方案。

经验注意:

1、同步文件的时候需要同步隐藏的文件,否则可能读取不到最新的数据内容

2、同步文件之后,刷新页面发现数据依然没有更新,这是正常情况,重启之后成效

3、重启时候发现报错,这个暂时我也解释不了,不过不用担心,因为不会影响正常使用

以上是关于saiku 分布式实践的主要内容,如果未能解决你的问题,请参考以下文章

Kylin系列-使用Saiku+Kylin构建多维分析OLAP平台

☞实践百分点基于分布式架构的大数据商业建模实践

《分布式机器学习:算法理论与实践》——RE

赠书5本包邮:数据思维实践Cloud Native分布式架构原理与实践

Ceph分布式存储实践应用之Ceph Swift生产实践运用

RedisZookeeper实现分布式锁——原理与实践