Presto

Posted hyunbar

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Presto相关的知识,希望对你有一定的参考价值。

1、概念

  • presto是一个开源的分布式SQL查询引擎
  • 数量支持GB到PB字节
  • 主要用来处理秒级查询的场景

注意: 虽然presto可以解析SQL,但它不是一个标准的数据库不是mysql,oracle的代替品,也不能用来处理在线事务(OLTP)

2、Presto架构

技术图片

presto由一个coordinator多个worker组成

  1. 由客户端提交查询,从presto命令行CLI提交到Coordinator
  2. Coordinator解析查询计划,然后把任务分发给worker执行
  3. worker负责执行任务和处理数据
  4. catelog标书数据源,一个catelog包括connector和shcema、table
    • connector是适配器,用于Presto和数据源(如hive,redis)的连接,类似于JDBC
    • Schema类似于mysql中数据库
    • table类似于mysql中表
  5. Coordinator是负责从worker获取结果并返回最终结果给client

3、Presto优缺点

技术图片

  1. 优点
    • presto基于内存运算,减少了IO,计算快
    • 能够连接多个数据源,跨数据源连表查,如从hive查询大量网站访问记录,然后从mysql中匹配出设备信息
  2. 缺点
    • presto能够处理PB级别的海量数据分析,但Presto并不是把PB级数据都放在内存中计算的,而是根据场景,如Count,avg等聚合运算,是边读数据边计算,再清内存,再读数据计算,这种耗内存并不高
    • 但是连表查,就可能产生大量的临时数据,因此速度会变慢,反而hive此时会更擅长

4、 Presto、Impala性能比较

Impala性能稍领先于presto,但是presto在数据源支持上非常丰富,包括hive、图数据库、传统关系型数据库、Redis等

缺点:这两种对hbase支持的都不好,presto 不支持,但是对hdfs、hive兼容性很好,其实这也是顺理成章的,所以数据源的处理很重要,针对hbase的二级索引查询可以用phoenix,效果也不错

5、presto可视化

Presto + Superset 数据仓库及BI

Presto + yanagishima

6、Presto优化数据存储

6.1 合理设置分区

与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。

6.2 使用列式存储

Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。

6.3 使用压缩

数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用Snappy压缩。

7、 Presto优化之查询SQL

7.1 只选择使用的字段

由于采用列式存储,选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。

[GOOD]: SELECT time, user, host FROM tbl

[BAD]:  SELECT * FROM tbl

7.2 过滤条件必须加上分区字段

对于有分区的表,where语句中优先使用分区字段进行过滤。acct_day是分区字段,visit_time是具体访问时间。

[GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101

[BAD]:  SELECT * FROM tbl where visit_time=20171101

7.3 Group By语句优化

合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。

[GOOD]: SELECT GROUP BY uid, gender

[BAD]:  SELECT GROUP BY gender, uid

7.4 Order By时使用Limit

Order by需要扫描数据到单个worker节点进行排序,导致单个worker需要大量内存。如果是查询Top N或者Bottom N,使用limit可减少排序计算和内存压力。

[GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100

[BAD]:  SELECT * FROM tbl ORDER BY time

7.5 使用Join语句时将大表放在左边

Presto中join的默认算法是broadcast join,即将join左边的表分割到多个worker,然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大,则可能会报内存溢出错误。

[GOOD] SELECT ... FROM large_table l join small_table s on l.id = s.id

[BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id

8、 注意事项

8.1 字段名引用

避免和关键字冲突:MySQL对字段加反引号`、Presto对字段加双引号分割

当然,如果字段名称不是关键字,可以不加这个双引号。

8.2 时间函数

对于Timestamp,需要进行比较的时候,需要添加Timestamp关键字,而MySQL中对Timestamp可以直接进行比较。

/*MySQL的写法*/

SELECT t FROM a WHERE t > ‘2017-01-01 00:00:00‘;

/*Presto中的写法*/

SELECT t FROM a WHERE t > timestamp ‘2017-01-01 00:00:00‘;

8.3 不支持INSERT OVERWRITE语法

Presto中不支持insert overwrite语法,只能先delete,然后insert into。

8.4 PARQUET格式

Presto目前支持Parquet格式,支持查询,但不支持insert。

以上是关于Presto的主要内容,如果未能解决你的问题,请参考以下文章

对当前主流大数据量自助多维分析开源项目的调研