Hadoop学习笔记（待整理）

Posted 2020-11-01 lerio

安装步骤：

1、安装虚拟机系统，并进行准备工作（可安装一个然后克隆）

2.修改各个虚拟机的hostname和host

3.创建用户组和用户

4、配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。

5.安装jdk和配置环境变量，检查是否配置成功

6、配置ssh，实现节点间的无密码登录 ssh node1/2指令验证时候成功

7、master配置hadoop，并将hadoop文件传输到node节点 

8、配置环境变量，并启动hadoop，检查是否安装成功，执行wordcount检查是否成功。

#环境变量配置
export HADOOP_HOME=/opt/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#SSL免登录配置

#安装SSL
yum -y install openssh-server  
ps -e | grep ssh  
ssh localhost 

#生成密钥对
ssh-keygen -t rsa

#在master上，导入authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#进入master的.ssh目录,执行复制操作
scp authorized_keys [email protected]:~/.ssh/
scp authorized_keys [email protected]:~/.ssh/

#修改各台主机上authorized_keys文件的权限  所有机器上，均执行命令
chmod 600 .ssh/authorized_keys
ssh node1(node2)