presto环境部署

Posted walker-

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了presto环境部署相关的知识,希望对你有一定的参考价值。

 一、环境准备

presto环境节点规划:

10.21.58.94(coordinator服务)

10.21.58.95(worker服务)

10.21.58.96(worker服务)

 

presto下载并解压:

部署的presto版本为0.223.1,下载路径为 /opt/bigdata/app/

下载地址:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.223.1/presto-server-0.223.1.jar

二、部署流程

2.1 配置presto

在presto解压路径下新建 etc/ 目录,配置如下文件:

  • config.properties:配置presto服务,配置成cooridinator服务还是worker服务。
  • node.properties:配置指定节点的环境属性。
  • jvm.properties:配置java虚拟机环境相关参数。
  • catalog属性:配置数据连接源。
  • log.properties:配置log相关属性。

2.2 coordinator服务配置

config.properties配置

# cat config.properties 
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8088
query.max-memory=100GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=20GB
discovery-server.enabled=true
discovery.uri=http://10.21.58.94:8088

参数含义:

  • coordinator=true:是否启用coordinator服务
  • node-scheduler.include-coordinator=false:在coordinator服务节点是否启用worker服务,true表示coordinator服务和worker服务混部
  • http-server.http.port=8088:http服务的端口
  • query.max-memory=100GB:整个presto集群查询的最大数据量
  • query.max-memory-per-node=10GB:单个woker节点单个task查询的数据量
  • query.max-total-memory-per-node=20GB:单个worker节点查询的最大数据量
  • discovery-server.enabled=true:是否开启discover服务,用于其它worker访问
  • discovery.uri:discovery服务的web uri地址

node.properties配置

# cat node.properties 
node.environment=production
node.id=10-21-58-94
node.data-dir=/data/presto/

参数含义:

  • node.environment=production:worker节点的环境类型(coordinator服务所在节点没有启用worker服务,所以这个配置文件作用不大)
  • node.id=10-21-58-94:worker节点的id
  • node.data-dir=/data/presto/:worker节点服务的日志目录

jvm.config配置

# cat jvm.config 
-server
-Xmx64G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

log.properties配置

# cat log.properties 
com.facebook.presto=DEBUG

2.3 worker服务配置

# cat config.properties 
coordinator=false
http-server.http.port=8088
query.max-memory=100GB
query.max-memory-per-node=10GB
query.max-total-memory-per-node=20GB
discovery.uri=http://10.21.58.94:8088

# cat node.properties 
node.environment=production
node.id=10-21-58-95
node.data-dir=/data/presto/

# cat jvm.config 
-server
-Xmx64G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

# cat catalog/hive.properties 
connector.name=hive-hadoop2
hive.metastore.uri=thrift://10.21.58.94:9083
hive.config.resources=/opt/bigdata/app/presto/etc/hadoop-conf/core-site.xml,/opt/bigdata/app/presto/etc/hadoop-conf/hdfs-site.xml
hive.security=read-only
hive.hdfs.authentication.type=NONE
hive.hdfs.impersonation.enabled=true

# cat log.properties 
com.facebook.presto=DEBUG

2.4 catalog连接器配置

环境连接的是hive数据源,配置方式见2.2小节和2.3小节的 catalog/hive.properties 配置。

2.5 验证

打开web ui地址 10.21.58.94:8088,出现如下页面则说明配置成功。

技术图片

 三、命令行访问

下载presto客户端执行jar包 https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.223.1/presto-cli-0.223.1-executable.jar

 重命名jar包名为 presto,并添加可执行属性 chmod +x presto,通过如下方式访问:

/opt/bigdata/presto-cli/presto --server 10.21.58.94:8088 --catalog hive --schema default --user 11085245 --debug

 

【参考链接】

[1] https://prestodb.io/docs/current/installation/deployment.html.

以上是关于presto环境部署的主要内容,如果未能解决你的问题,请参考以下文章

动态代码生成技术在 Presto 中使用简介

CentOS 8 安装天文学工具presto

部署presto报Presto requires Java 8u151+ (found 1.8.0_144)解决方案

技术分享 | Presto性能对比测试:Kubernetes部署 VS 物理机部署

技术分享 | Presto性能对比测试:Kubernetes部署 VS 物理机部署

presto的安装部署