如何在 Cloudera 上挂载 HDFS？

Posted 2023-02-16

【中文标题】如何在 Cloudera 上挂载 HDFS？

【英文标题】：How to mount HDFS on Cloudera?

【发布时间】：2015-04-23 15:33:16

【问题描述】：

我正在开发一个运行 Cloudera 5.3 的集群，并且我已按照所有说明创建 NFS 网关并且它运行良好。我的问题是我仍然看不到 HDFS 目录作为 Linux 文件系统的一部分（这是 RHEL 6）。我不是 UNIX 管理员，所以我没有安装目录的经验，而且我在网上找到的文档对解决这个特定问题没有帮助。我试过简单的

mount /

在作为 NFS 网关的机器上，但这不起作用。当我尝试从另一台集群机器上使用

进行挂载时

mount <myNFSgateway>:/ /

我在网关服务器和 HDFS 上都看不到任何文件（尽管我可以使用 hdfs dfs -ls 轻松查看这些文件）。

既然设置了 NFS，我该如何将 HDFS 实际挂载为目录？

【参考方案1】：

试试下面的命令来检查可用的挂载点

showmount -e <nfs_server_ip_address>

您应该会看到类似于以下内容的输出：

Exports list on <nfs_server_ip_address>: 
/ (everyone)

在 NFS 客户端上安装 HDFS 要在 NFS 客户端上导入 HDFS 文件系统，请在客户端上使用如下挂载命令：

 mount -t  nfs  -o vers=3,proto=tcp,nolock <nfs_server_hostname>:/ /hdfs_nfs_mount

（挂载前请确认nfs相关库已安装，若未安装，请使用命令sudo yum install nfs-utils nfs-utils-lib安装库）

【讨论】：

我也尝试了该版本的 mount 命令（从 Apache 站点获得），但仍然无法正常工作。它无法识别 hdfs 中的目录，例如“/my/hdfs/dir 不存在”当我尝试挂载它时。

只能挂载/HDFS目录，有没有安装答案中提到的依赖包？

我确实安装了这些软件包。当我试图挂载/时，它仍然没有工作。我可以询问 Cloudera，我只是希望可能缺少一些简单的东西。

你启动nfs网关服务了吗？

我确实成功启动了网关服务