查看HDFS文件系统数据的三种方法

Posted 格格巫 MMQ!!

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了查看HDFS文件系统数据的三种方法相关的知识,希望对你有一定的参考价值。

1、使用插件——Hadoop-Eclipse-Plugin
此方法需要借助Eclipse,插件的安装及使用请参考博文使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS。
借助Eclipse只能进行简单的HDFS操作,如查看,删除,上传,下载。以下是操作界面:
插件界面
在这里插入图片描述

2、HDFS Web界面
HDFS Web界面上只能查看文件系统数据。网址:http://localhost:50070
界面如下:
在这里插入图片描述

web界面
执行完WordCount程序后可以到本界面上下载output结果并查看,如图:
在这里插入图片描述

Hadoop web界面查看文件系统数据
3、 shell命令
这个方法是最基本的,能进行所有文件操作。

hadoop fs -ls /user/hadoop/output #查看指定目录下的文件和文件夹。/user/hadoop/output是HDFS上的目录,不是本地目录
hadoop fs -cat /user/hadoop/output #查看文件内容
Shell 命令
博主的用户名是dblab,相应的HDFS上的目录变为/user/dblab/output。界面截图如下:
shell

在这里插入图片描述

以上是关于查看HDFS文件系统数据的三种方法的主要内容,如果未能解决你的问题,请参考以下文章

RDD的三种创建方式

RDD的三种创建方式

014-HQL中级4-Hive中的三种不同的数据导出方式介绍

linux中安装应用的三种方法之RPM

查看登陆系统用户的信息的三种方法详解

ftp提取文件到hdfs