Hadoop - `hdfs dfs -ls`与ls

Posted 2021-04-10

我使用ssh连接到工作中的Hadoop集群。似乎有两种不同的文件系统可供使用： - 一个本地（虽然它是远程的，因为我正在捣碎这台机器）。我可以使用cd ..导航文件系统并使用ls在那里显示文件。我也可以在这里安装一些程序。 - 一个非本地使用hadoop命令（hdfs dfs ...）

我不明白这两个文件系统是如何协同工作的？ hadoop集群的主节点的本地类型是否可以从中执行配置单元？

答案

：我可以执行配置单元的hadoop集群的主节点的本地类型吗？

由于Hive与Hadoop和HDFS完全分开安装，所以HIve似乎与提出的问题无关。无论你访问什么机器都需要Hive客户端才能工作，并且没有“主节点”，hive（虽然应该使用beeline）cli需要运行。对于大多数用户来说，HiveServer的JDBC驱动程序比终端会话更有用。或者说服贵公司将Hue安装为Hadoop和Hive访问的Web UI。

如果您浏览Hadoop / Hive安装页面并且可以收集服务器和端口的正确网络信息以建立与Hadoop环境的远程连接，则不一定需要SSH到任何服务器才能访问任何内容，但您的公司可能不会从安全角度来看，这样。此时，本地计算机的配置方式与调用它们的“跳转框”或“边缘节点”完全相同。

一个本地（虽然它是远程的，因为我正在捣碎这台机器）

对。不是Hadoop文件系统。您SSH的所有计算机都有本地硬盘驱动器。在将它们复制到HDFS之前，您需要SFTP / SCP文件。

一个不是本地使用hadoop命令（hdfs dfs ...）我不明白这两个文件系统如何一起工作？

如果您已经通过SSH连接到数据节点，Hadoop仍会将数据存储在本地文件系统中，但是，它不是整个文件，而是将它们分开称为块。 Hadoop使用许多机器和磁盘来创建分布式文件系统抽象，因此称为HDFS。

如果您的公司使用NAS或FTP文件服务器，这是一个类似的概念。您也可以使用正确的权限通过SSH连接其中一个，但是，在其本地磁盘上有一个专用位置，用于提供文件。

另一答案

hdfs dfs..在由Hadoop集群托管的分布式文件系统上执行命令。

它与您使用的服务器的本地文件系统完全无关（可以是任何具有Hadoop客户端库的服务器）。其实你甚至不需要ssh。您可以使用REST API https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#OPEN从桌面访问HDFS文件

你是指Hive客户端（参见https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-Beeline%E2%80%93NewCommandLineShell的所有选项）还是Hive Server？