CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

Posted 2022-09-30 明哥的IT随笔

CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2 等服务的webui呢？一起看下相关知识。

问题现象

在CDH/CDP等大数据平台中，当开启kerberos安全后，一些常见服务如 HDFS/YARN/HIVESERVER2 的webui， 无法访问，通过chrome浏览器访问时，报错 HTTP ERROR 403，Problem accessing xxx. Reason: java.lang.IllegalArgumentException。截图如下：

问题原因

大数据集群开启kerberos安全认证后，基于http协议访问常见服务如 hdfs/yarn/hiveserver2 等的webui时，这些服务在服务端大都有专门的参数可以控制是否使用启用 spnego（基于kerberos) 认证，当启用了 spnego 安全认证而客户端浏览器获取不到有效的 kerberos ticket 时，就会报上述错误。

查看服务端配置，发现服务开启了 “Enable Kerberos Authentication for HTTP Web-Consoles”, 截图如下：

通过查看后台日志，也能确认是用户认证问题；同时在客户端浏览器没有获取到有效的kerberos ticket 时，通过firefox浏览器访问目标链接，其报错提示信息更加明确地指出了需要认证：

注意：当开启了yarn的”Enable Kerberos Authentication for HTTP Web-Consoles“，而没有开启hdfs的”Enable Kerberos Authentication for HTTP Web-Consoles“时，访问yarn web ui 的报错略有不同：

问题解决

解决方式1

可以关掉 Enable Kerberos Authentication for HTTP Web-Consoles （Secure Web UI for this service is disabled even though Kerberos is enabled.）, 如下图所示：（hdfs/yarn都有该选项；hive 需要通过配置高级参数 hive.server2.webui.use.spnego 实现））

解决方式2

当然也可以安装kerberos windows客户端，并配置firefox浏览器使用本地的kerberos ticket后，当在kerberos windows客户端或命令行使用用户名密码通过kerberos认证获取kerberos ticket后，firefox浏览器就可以正常访问webui了（chrome浏览器中 kerberos 相关配置比较复杂，建议使用firefox浏览器）。

在windows上安装配置kerberos 客户端并配置firefox浏览器以访问开启spnego安全认证的hdfs/yarn/hive webui

安装Kerberos客户端

MIT官网下载并安装：

配置Kerberos客户端

将Kerberos KDC服务端的配置文件/etc/krb5.conf中的内容拷贝到windows上kerberos客户端文件 krb5.ini 中，该文件路径如下：C:\\ProgramData\\MIT\\Kerberos5\\krb5.ini

配置windows的hosts文件

配置windows的hosts文件，该文件路径如下：C:\\Windows\\System32\\drivers\\etc\\hosts

调整PATH环境变量

由于Kerberos客户端和OracleJDK都包含 kerberos 的 klist/kinit等命令工具，为确保后续命令行使用的是Kerberos客户端的klist/kinit，需要配置PATH环境变量将 Kerberos 目录调整靠前，如下图所示：

调整PATH环境变量前后，命令行klist命令的输出结果不同，如下所示:

配置firefox浏览器

由于chrome浏览器中 kerberos 相关配置比较复杂，建议配置使用firefox浏览器。
打开firefox浏览器，在地址栏输入about:config，然后搜索并配置如下两个参数：
network.auth.use-sspi：将值改为false；
network.negotiate-auth.trusted-uris：将值为集群节点ip或主机名；

获取kerberos ticketb并访问开启spnego认证的hdfs/yarn/hive webui

可以在kerberos windows客户端中通过用户名密码获取获取kerberos ticket，也可以在命令行通过kinit命令获取kerberos ticket。获取到 kerberos ticket后，通过firefox浏览器就可以正常开启spnego认证的hdfs/yarn/hivewebui了：