2.Hadoop集群安装进阶

Posted 2021-01-13 零度微笑

Hadoop进阶

1.配置SSH免密

（1）修改slaves文件

切换到master机器，本节操作全在master进行。

进入/usr/hadoop/etc/hadoop目录下，找到slaves文件，修改：

slave1
slave2
slave3

（2）发送公钥

进入根目录下的.ssh目录：

1. 生成公私钥

   ssh-keygen -t rsa

   会生成两个文件：id.rsa id.rsa.pub

2. 发送

   ssh-copy-id master

   ssh-copy-id slave1

   ssh-copy-id slave2

   ssh-copy-id slave3

   在四台机器上的.ssh目录下，都会生成authorized_keys文件

2.配置集群集中启动、关闭

（1）打开

start-dfs.sh

（2）关闭

stop-dfs.sh

3.hdfs 文件目录命令

命令	含义	实例	含义
hadoop fs -ls 目录	查看某个目录下所有文件和子目录	hadoop fs -ls /	查看根目录
hadoop fs -put 本机文件 目录	上传本机文件到hdfs目录下	hadoop fs -put hello.txt /	把hello.txt上传到hdfs根目录下
hadoop fs -rm 文件或目录	删除文件或目录	hadoop fs -rm /hello.txt	删除hello.txt
hadoop fs -text 文本文件	查看文本文件	hadoop fs -text /hello.txt	查看hello.txt内容