Impala在处理结果集较大的查询的优势

Posted 2020-06-18

    近期运营出报表，查询的数据量为15年的数据量，涉及的表及表中记录数如下图所示：

    

    刚开始的时候在mysql中进行查询汇总，选择第一个数据量最小的表，发现MySQL 出现内存溢出，数据库使用的是腾讯云上的一台CDB，内存大小为24GB。后来将数据上传到hdfs上使用impala（数据格式为PARQUET）来查询，发现效果要好于MySQL，我们的impala是一个3节点集群，内存8GB，存储500GB  SSD。查询耗时如下：

    

从查询的过程可以看出，impala在处理较大的数据集时有着MySQL所不具备的高性能。如果在MySQL中对5亿条记录做汇总，可能需要很高的配置了，而且运行时间不见得比impala短。

本文出自 “勇敢向前，坚决向左” 博客，请务必保留此出处http://quenlang.blog.51cto.com/4813803/1747304