HDFS NFS 网关“没有可供用户使用的组”警告

Posted 2023-02-16

【中文标题】HDFS NFS 网关“没有可供用户使用的组”警告

【英文标题】：HDFS NFS gateway "No groups available for user" warnings

【发布时间】：2015-11-30 21:06:44

【问题描述】：

我正在使用 NFS 网关服务将一些数据摄取到 HDFS (CDH 5.4.5)。

一切似乎都很好，直到我收到一条消息警告，通知我日志记录目录的可用空间非常低。我快速查找了大日志文件：

sudo find /var/log -type f -size +100000k -exec ls -lh  \; | awk ' print $9 ": " $5 '

...并注意到一个名为 /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out 的 34GB 文件。快速查看内部显示几乎完全由以下警告组成：

2015-11-30 13:41:15,535 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user [some_user]

看到这里，我在运行NFS网关的节点上将some_user用户加入hdfs组，即usermod -a -G hdfs some_user，然后重启NFS网关服务。不幸的是，“没有可供用户使用的组......”消息仍然以惊人的速度被记录。

你能看出我做错了吗？是否需要在每个节点上设置some_user 帐户，而不仅仅是 NFS 网关？为了使更改生效，我需要做的不仅仅是重新启动服务吗？

【参考方案1】：

需要在namenode上设置用户及其组。默认情况下，Hadoop 从那里的操作系统设置中获取组映射。例如，请参见此处：https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Group_Mapping

【讨论】：

谢谢@Hellmar。就是这样！我在名称节点上创建了someuser 帐户。