Dremio: 将 Minio 配置为分布式存储

Posted 2021-11-03 琦彦

Minio 可以用作分布式存储。请注意，Minio 可用作 SSL 和未加密连接的分布式存储。看配置分布式存储 想要查询更多的信息。

为 Minio 配置 S3

从 Dremio 3.2.3 开始，Minio 作为实验性的S3 兼容插件提供。

要在 Dremio UI 中为 Minio 配置 S3 源：

1. 在Advanced Options 下，选中Enable compatible mode (experimental)。
2. 在高级选项 > 连接属性下，添加fs.s3a.path.style.access值并将其设置为true。
   注意：此设置可确保在使用 IP 地址或主机名作为端点时正确创建请求路径。
3. 在Advanced Options > Connection Properties 下，添加fs.s3a.endpoint属性及其对应的服务器端点值（IP 地址）。
   限制：端点值不能包含http(s)://前缀。例如，如果端点是http://123.1.2.3:9000，则值为123.1.2.3:9000。

要在启用加密连接的情况下为 Minio 配置 S3 源：

1. 使用 OpenSSL 生成自签名证书。看保护对 Minio 服务器的访问 或使用现有的自签名证书。
2. 启动 Minio 服务器./minio server [data folder] --certs-dir [certs directory]。
3. 安装 Dremio。
4. 在你的Dremio所在的客户端环境中，使用如下命令将证书安装到**<JAVA_HOME>/jre/lib/security中**：
   <JAVA_HOME>/keytool -import -v -trustcacerts -alias alias -file cert-file -keystore cacerts -keypass changeit -storepass changeit 注意：替换alias成你想要的别名，替换cert-file成用于启动Minio的证书文件的绝对路径服务器。
5. 启动 Dremio。
6. 在 Dremio UI 中，使用 Minio 插件添加和配置 Amazon S3 数据源。
   1. 在General选项卡下，指定你的 Minio 服务器提供的AWS Access Key和AWS Access Secret。
   2. 在General选项卡下，选中Encrypt Connection。
   3. 在Advanced Options 下，选中Enable compatible mode (experimental)。
   4. 在高级选项 > 连接属性下，添加fs.s3a.path.style.access值并将其设置为true。
      注意：此设置可确保在使用 IP 地址或主机名作为端点时正确创建请求路径。
   5. 在Advanced Options > Connection Properties 下，添加fs.s3a.endpoint属性及其对应的服务器端点值（IP 地址）。
      限制：端点值不能包含http(s)://前缀。例如，如果端点是http://123.1.2.3:9000，则值为123.1.2.3:9000。

配置关键参数

fs.s3a.path.style.access

fs.s3a.endpoint

fs.s3a.connection.ssl.enabled