hadoop常用shell命令怎么用

Posted 2023-04-27

参考技术A 一、常用的hadoop命令
1、hadoop的fs命令
#查看hadoop所有的fs命令

1

hadoop fs

#上传文件（put与copyFromLocal都是上传命令）

1
2

hadoop fs -put jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk
hadoop fs -copyFromLocal jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk

#下载命令(get与copyToLocal都是下载命令)

1
2

hadoop fs -get hdfs://hucc01:9000/jdk jdk1.7
hadoop fs -copyToLocal hdfs://hucc01:9000/jdk jdk1.7

#将本地一个或者多个文件追加到hdfs文件中（appendToFile）

1

hadoop fs -appendToFile install.log /words

#查询hdfs的所有文件（ls）

1

hadoop fs -ls /

#帮助命令（help）

1

hadoop fs -help fs

#查看hdfs文件的内容（cat和text）

1
2

hadoop fs -cat /words
hadoop fs -text /words

#删除hdfs文件(rm)

1

hadoop fs -rm -r /words

#统计hdfs文件和文件夹的数量（count）

1

hadoop fs -count -r /

#合并hdfs某个文件夹的文件，并且下载到本地（getmerge）

1

hadoop fs -getmerge / merge

#将本地文件剪切到hdfs，相当于对本地文件上传后再删除（moveFormLocal）

1

hadoop fs -moveFromLocal words /

#查看当前文件系统的使用状态（df）

1

hadoop fs -df

二、常用的hdfs命令（这个用的比较多）
用法跟hadoop命令一样，推荐2.0之后使用hdfs命令

1

hdfs dfs

学习笔记Hadoop—— Hadoop基础操作—— MapReduce常用Shell操作MapReduce任务管理

四、MapReduce常用Shell操作

4.1、MapReduce常用Shell

MapReduce Shell 此处指的是可以使用类似shell的命令来直接和MapReduce任务进行交互（这里不严格区分MapReduce shell及Yarn shell）。

提交任务命令：

yarn jar <jar> [mainClass] args... 

查看及修改任务命令：

yarn application [options] Usage: yarn app [options] 

可选项：

• appId ： 指定APPlication id
• changeQueue ： 改变队列
• kill ： 停止任务
• status ： 查看任务状态

4.2、常用Shell-任务实例

查看MapReduce可以命令

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar

使用pi计算实例

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi

设置参数

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi 100 10

然后我们可以获得application的id

通过这个id查看状态

yarn application -status application_1619841871021_0001

我们也可以在浏览器查看这个信息，浏览器端口：master:8088

关闭这个任务：

yarn application -kill application_1619841871021_0001

---

五、MapReduce任务管理

MapReduce任务日志查看：

5.1、多任务竞争

我们可以通过修改/opt/hadoop-3.1.4/etc/hadoop/下的capacity-scheduler.xml，来同时运行两个任务

cd /opt/hadoop-3.1.4/etc/hadoop/
vi capacity-scheduler.xml

改完后拷贝到其他结点

scp capacity-scheduler.xml node1:/opt/hadoop-3.1.4/etc/hadoop/
scp capacity-scheduler.xml node2:/opt/hadoop-3.1.4/etc/hadoop/
scp capacity-scheduler.xml node3:/opt/hadoop-3.1.4/etc/hadoop/

最后使配置生效

yarn rmadmin -refreshQueues