分享知识-快乐自己：Liunx-大数据（Hadoop）初始化环境搭建

Posted 2021-01-25 GDBD

大数据初始化环境搭建：

一）：大数据（hadoop）初始化环境搭建

二）：大数据（hadoop）环境搭建

三）：运行wordcount案例

四）：揭秘HDFS

五）：揭秘MapReduce

六）：揭秘HBase

七）：HBase编程

-----------------------------------------------------------------

1）：需要准备三个虚拟机环境（创建方式：可以单独创建三个虚拟机：点我查看如何安装虚拟机、也可以通过克隆方式：点我查看克隆详情）

2）：NET 网络设置（点我查看网络设置）

3）：分别关闭所有虚拟机防火墙

firewall-cmd --state    查看防火墙状态

systemctl stop firewalld.service    临时关闭防火墙（重启后生效）

systemctl disable firewalld.service    设置防火墙开机不启动

4）：分别修改三台虚拟机的 主机名 与 对应的IP 。分别如下：

主机器： admin    192.168.31.206

子机器：admin-01  192.168.31.207

子机器：admin-02  192.168.31.208

【可根据实际情况，约束 主机名称 与 IP】

例如：修改 admin （参考主机修改方式 修改子机器）

//永久修改主机名称
hostnamectl --static set-hostname  admin

//修改 hosts 文件
vim /etc/hosts

5）：免密登录（分别修改三台虚拟机的  /etc/hosts 文件） 分别加入其它两台虚拟机的 域登录名。

在主机上（admin）生成密钥：

ssh-keygen -t rsa

查看当前目录下的所有文件（包含隐藏文件 .ssh）

ll -a

 

进入 .ssh 目录：

把本机生成的id_rsa.pub复制到另外两个子机器中，重命名为authorized_keys

//需要先远程创建（.ssh目录）
ssh root@admin-01 "mkdir ~/.ssh/"

//将id_rsa.pub进行远程拷贝
scp id_rsa.pub root@admin-01:~/.ssh/authorized_keys

//admin-01：为主机名

分别在两个子机器中把authorized_keys 文件的权限改为600：

chmod 600 authorized_keys

在admin节点使用下面命令：（把id_rsa.pub追加到授权的key里面去）

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在所有机器上使用下面命令（修改SSH配置文件"/etc/ssh/sshd_config"）

vim /etc/ssh/sshd_config

RSAAuthentication yes    # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

6）：所有虚拟机安装JDK（点我查看安装步骤）

 主机安装成功后可以通过复制操作，拷贝到子机器上（每台虚拟机的路径最好保持一致 方便统一管理）

scp  -r   /opt/jdk   root@admin-01:/opt/jdk

scp  -r   /opt/jdk   root@admin-02:/opt/jdk

把 admin 中的profile文件复制到其他两个机器中：

scp /etc/profile root@admin-01:/etc/profile

scp /etc/profile root@admin-02:/etc/profile

之后让两个子机器中的profile文件生效,分别在两个子机器中运行：

source   /etc/profile

 

 点我进行下一步的操作（大数据 Hadoop 环境搭建）