presto + Hive 安全配置

Posted

技术标签:

【中文标题】presto + Hive 安全配置【英文标题】:presto + Hive Security Configuration 【发布时间】:2020-12-19 05:42:20 【问题描述】:

我们有 presto 集群和 Hadoop 集群 当所有 presto 工作服务器都安装在数据节点机器上时

以下是在目录文件夹下 presto worker 上配置的 Hive 连接器配置文件示例

connector.name=hive-hadoop2
hive.metastore.uri=thrift://metastore-node:9083

我们想知道当每个 presto 工作人员的访问权限不安全到 hive metastore 机器时会有什么风险

据我们了解,presto worker/s 使用 thrift 协议和端口 9083 连接到 hive 元存储

但不清楚 presto-worker 如何针对 hive 元存储执行身份验证?

我们很高兴获得更多详细信息 - presto 工作人员如何在没有 hive 安全和 hive 安全的情况下访问 hive 元存储

参考 - https://docs.starburstdata.com/302-e/connector/hive-security.html

【问题讨论】:

【参考方案1】:

Hive Metastore 提供可以配置:

不使用身份验证(信任调用者提供的用户身份) 使用 Kerberos 身份验证。

Presto 支持这两种模式。

基本模式(无身份验证)不需要额外的配置属性。

对于需要设置的 Kerberos 身份验证

hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=...
hive.metastore.client.principal=...
hive.metastore.client.keytab=...

在https://docs.starburstdata.com/latest/connector/hive-security.html#example-configuration-with-kerberos-authentication查看完整示例及更多内容

如果您需要进一步的帮助,可以通过#troubleshooting 频道Trino (formerly Presto SQL) community slack 获得。

【讨论】:

关于“不使用身份验证”,您能否描述一下 - presto worker 如何对 hive 元存储进行身份验证,简而言之,详细说明执行的步骤(dose presto worker 仅从 hive 读取表或写入? , ) Presto worker 不会改变 Metastore 的状态,它只会读取它。更改通过协调器一起提交。 好的,如果它只读取表格,你能描述一下读取表格的步骤吗?

以上是关于presto + Hive 安全配置的主要内容,如果未能解决你的问题,请参考以下文章

技能速成!教你10分钟内在电脑上配置运行Hive Metastore和Presto

数据治理(十五):Ranger管理Hive安全

大数据Presto:Presto安装搭建

Presto 查询 HIVE 表异常:无法列出目录

Presto 查询无法将数据插入 Hive

presto集群安装&整合hive|mysql|jdbc