配置hadoop集群服务之二

Posted 2020-12-05

1、配置多台机器可以免密登陆：

步骤：

(Tip:正常情况下authorized_keys应该同id_rsa.pub)

1）用ssh-keygen命令生成公匙

2）接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。

cat /home/haoxin/.ssh/id_rsa.pub >>~/.ssh/authorized_keys/

3）给自己加sudo权限：

sudo vim /etc/sudoers

haoxin  ALL=(ALL)       NOPASSWD: ALL

wq!

 

4）复制公匙到别的服务器上：

scp -r ~/.ssh/* [email protected]:~/.ssh

scp ~/.ssh/* 远程用户名@远程服务器IP:~/

最好.ssh目录是700

.ssh/目录下是600

如果不修改成这样，后期会出现:

bad permissions: ignore key: /root/.ssh/id_rsa

也就是配置的公匙失效了；

 

最后多台机器reboot重启一下，就可以互相免密登陆；

 

总结Tip:

1、scp -r ~/.ssh/ 主机名@ip:~/.ssh/；

2、查看系统log日志的方法：

tail -f /data/cloud/deploy/src/hadoop-2.7.3/logs/hadoop-haoxin-namenode-haoxintest1.master.chx.com.log 

3、创建namenode进程的方法：

　　hdfs namenode -format   先将namenode格式化

　　hadoop-daemon.sh start namenode

4、HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件；

5、hdfs-site.xml里面的配置信息是用来设置namenode是哪个主机的;

　　Yarn-site.xml里面的配置信息也是一样；

 

碰到过的坑：

 

 

1、hadoop已经做了软链接，为什么还是执行不了？

 

权限所属问题不对

 

 

 

如果权限所属问题也改了，还是不能执行，可以有个终极解决办法：

 

在如下路径编辑一个脚本文件，然后重启就可以了

 

Sudo vim /etc/profile.d/hadoop.sh

 

内容如下：

 

# set hadoop

 

export HADOOP_HOME=/usr/local/cloud/hadoop

 

export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

 

export HADOOP_CONF_DIR=/usr/local/cloud/hadoop/etc/hadoop

 

export YARN_CONF_DIR=/usr/local/cloud/hadoop/etc/hadoop