Presto安装集成kerberos

Posted 2022-09-29

解压presto-server包

tar -zxvf presto-server-0.276.tar.gz

件目录结构如下

drwxr-xr-x  3 rong rong   4096 Mar 29 10:29 bin
drwxrwxr-x  2 rong rong  12288 Mar 29 09:54 lib
-rw-r--r--  1 rong rong 191539 Mar  5 02:48 NOTICE
drwxrwxr-x 33 rong rong   4096 Mar 29 09:54 plugin
-rw-r--r--  1 rong rong    126 Mar  5 02:48 README.txt

创建etc目录

mkdir etc

结构如下：

drwxr-xr-x  3 rong rong   4096 Mar 29 10:29 bin
drwxrwxr-x  3 rong rong   4096 Mar 29 15:08 etc
drwxrwxr-x  2 rong rong  12288 Mar 29 09:54 lib
-rw-r--r--  1 rong rong 191539 Mar  5 02:48 NOTICE
drwxrwxr-x 33 rong rong   4096 Mar 29 09:54 plugin
-rw-r--r--  1 rong rong    126 Mar  5 02:48 README.txt

在etc目录创建需要配置文件

1. 创建config.propertie

touch config.properties

内容如下：

# 指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管>理每个查询的执行过程)
coordinator=true
# 是否允许在coordinator服务中进行调度工作,
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=100MB
query.max-memory-per-node=100MB
query.max-total-memory-per-node=100MB
discovery-server.enabled=true
discovery.uri=http://hadoop-test001:8080
#  如果节点是worker 则是以下配置
        # coordinator=false
        # http-server.http.port=8080
        # query.max-memory=50GB
        # query.max-memory-per-node=1GB
        # query.max-total-memory-per-node=2GB
        # discovery.uri=http://hadoop-test002:8080

2. 创建jvm.config

touch jvm.config

内容如下：

-server
-Xmx500M
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf

注意：如果集群没有集成kerberos，配置最后一行需要去掉。

3. 创建log.properties

配置日志级别

touch log.properties

4. 创建node.properties

touch node.properties

内容如下：

# 集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称
node.environment=production
# 每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的
node.id=hadoop-test02
#该路径要自己创建 随意的目录
node.data-dir=/var/presto/data

在etc目录下创建catlog目录

mkdir catalog

在catalog目录下配置数据源

1. 配置mysql数据源

touch mysql.properties

connector.name=mysql
connection-url=jdbc:mysql://hadoop-test002:3306
connection-user=root
connection-password=root

2. 配置hive数据源（没权限）

touch hive.properties

# name后面为固定写法
connector.name=hive-hadoop2
# 需要启动hive metastore服务
hive.metastore.uri=thrift://hadoop-test003:9083
# hadoop集群的配置文件目录
hive.config.resources=$HADOOP_HOME/etc/hadoop/core-site.xml,$HADOOP_HOME/etc/hadoop/hdfs-site.xml

客户端配置

将客户端放到 $PRESTO_HOME/bin 下：

mv presto-cli-0.276-executable.jar $PRESTO_HOME/bin

修改名称为 presto ,并赋予执行权限 chmod +x

mv presto-cli-0.276-executable.jar presto
# 赋权执行权限
chmod +x presto

测试

--启动服务
bin/launcher run
--启动客户端
./presto --server hadoop-test001:8080 --catalog myslq

集成kerberos

生成persto主体的princal

kadmin.local -q "addprinc -randkey presto/[e-mail]"
kadmin.local -q "xst -norandkey -k presto.keytab presto/[e-mail]"

集成Kerberos环境Hive

1. 修改hive.properties

connector.name=hive-hadoop2
#需要启动hive metastore服务
hive.metastore.uri=thrift://hadoop-test006:9083
#配置Presto访问HiveMetastore服务的Kerberos信息，该段配置可以只存在Presto的Coordinator节点
hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=hive/[e-mail]
hive.metastore.client.principal=presto/[e-mail]
hive.metastore.client.keytab=/root/presto.keytab

#配置Presto访问HDFS的Kerberos信息，改段配置可以只存在Presto的Worker节点
hive.hdfs.authentication.type=KERBEROS
hive.hdfs.impersonation.enabled=true
hive.hdfs.presto.principal=presto/[e-mail]
hive.hdfs.presto.keytab=/root/presto.keytab
# hadoop集群的配置文件目录
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

在hive.properties配置文件中增加访问HiveMetastore和HDFS的Kerberos认证信息，将如上配置同步至Presto集群所有节点的$PRESTO_HOME/etc/catalog/hive.properties文件中。

注意：在配置hive.metastore.url时，需要使用HiveMetastore服务的HOSTNAME，否则在使用Kerberos访问HiveMetastore时会报找不到Kerberos账号的错误。

2. 修改config.properties

-server
-Xmx500M
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf

注意最后一行

3. 配置HDFS

修改core-site.xml：添加presto的代理用户，不然会报错

<property>
    <name>hadoop.proxyuser.presto.hosts</name>
    <value>*</value>
</property>
    <property><name>hadoop.proxyuser.presto.groups</name>
    <value>*</value>
</property>

4. 重启HDFS 和 presto

./bin/launcher restart

5.测试

presto --server http://hadoop-test001:8080 --catalog hive --schema default

测试命令

show schemas;

       Schema       
--------------------
 default            
 information_schema 
 test               
(3 rows)