Apache Kylin 的预计算是怎么回事？

Posted 2021-09-10 Shockang

前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系

正文

Apache Kylin 的使命

Apache Kylin 的使命是超高速的大数据 OLAP ( OnlineAnalyticalProcessing )，也就是要让大数据分析像使用数据库一样简单迅速，用户的查询请求可以在秒内返回，交互式数据分析将以前所未有的速度释放大数据里潜藏的知识和信息，让我们在面对未来的挑战时占得先机。

预计算

ApacheKylin 的初衷就是要解决千亿条、万亿条记录的秒级査询问题，其中的关键就是要打破査询时间随着数据量成线性增长的这个规律。

仔细思考大数据 OLAP ，可以注意到两个事实：

1. 大数据查询要的一般是统计结果，是多条记录经过聚合函数计算后的统计值。
   原始的记录则不是必需的，或者访问频率和概率都极低。
2. 聚合是按维度进行的，由于业务范围和分析需求是有限的，有意义的维度聚合组合也是相对有限的，一般不会随着数据的膨胀而增长。

基于以上两点，我们可以得到一个新的思路一一“预计算”。

应尽量多地预先计算聚合结果，在查询时刻应尽量使用预算的结果得出查询结果，从而避免直接扫描可能无限增长的原始记录。