分享知识-快乐自己:Liunx-大数据(Hadoop)初始化环境搭建

Posted GDBD

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分享知识-快乐自己:Liunx-大数据(Hadoop)初始化环境搭建相关的知识,希望对你有一定的参考价值。

大数据初始化环境搭建:

一):大数据(hadoop)初始化环境搭建

二):大数据(hadoop)环境搭建

三):运行wordcount案例

四):揭秘HDFS

五):揭秘MapReduce

六):揭秘HBase

七):HBase编程

-----------------------------------------------------------------

1):需要准备三个虚拟机环境(创建方式:可以单独创建三个虚拟机:点我查看如何安装虚拟机、也可以通过克隆方式:点我查看克隆详情

2):NET 网络设置(点我查看网络设置

3):分别关闭所有虚拟机防火墙

firewall-cmd --state    查看防火墙状态

systemctl stop firewalld.service    临时关闭防火墙(重启后生效)

systemctl disable firewalld.service    设置防火墙开机不启动

4):分别修改三台虚拟机的 主机名 与 对应的IP 。分别如下:

主机器: admin    192.168.31.206

子机器:admin-01  192.168.31.207

子机器:admin-02  192.168.31.208

【可根据实际情况,约束 主机名称 与 IP】

例如:修改 admin (参考主机修改方式 修改子机器)

//永久修改主机名称
hostnamectl --static set-hostname admin

//修改 hosts 文件
vim /etc/hosts

5):免密登录(分别修改三台虚拟机的  /etc/hosts 文件) 分别加入其它两台虚拟机的 域登录名。

在主机上(admin)生成密钥:

ssh-keygen -t rsa

查看当前目录下的所有文件(包含隐藏文件 .ssh)

ll -a

 

进入 .ssh 目录:

把本机生成的id_rsa.pub复制到另外两个子机器中,重命名为authorized_keys

//需要先远程创建(.ssh目录)
ssh root@admin-01 "mkdir ~/.ssh/"

//将id_rsa.pub进行远程拷贝
scp id_rsa.pub root@admin-01:~/.ssh/authorized_keys

//admin-01:为主机名

分别在两个子机器中把authorized_keys 文件的权限改为600:

chmod 600 authorized_keys

在admin节点使用下面命令:(把id_rsa.pub追加到授权的key里面去)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在所有机器上使用下面命令(修改SSH配置文件"/etc/ssh/sshd_config")

vim /etc/ssh/sshd_config

RSAAuthentication yes    # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

6):所有虚拟机安装JDK(点我查看安装步骤

 主机安装成功后可以通过复制操作,拷贝到子机器上(每台虚拟机的路径最好保持一致 方便统一管理)

scp  -r   /opt/jdk   root@admin-01:/opt/jdk

scp  -r   /opt/jdk   root@admin-02:/opt/jdk

把 admin 中的profile文件复制到其他两个机器中:

scp /etc/profile root@admin-01:/etc/profile

scp /etc/profile root@admin-02:/etc/profile

之后让两个子机器中的profile文件生效,分别在两个子机器中运行:

source   /etc/profile

 

 点我进行下一步的操作(大数据 Hadoop 环境搭建)

 

以上是关于分享知识-快乐自己:Liunx-大数据(Hadoop)初始化环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

分享知识-快乐自己:运行(wordcount)案例

分享知识-快乐自己: Oracle数据库实例用户表表空间之间关系

分享知识-快乐自己:mysql数据库常见两种引擎

分享知识-快乐自己:Hibernate对象的三种状态

分享知识-快乐自己:论Hibernate中的缓存机制

分享知识-快乐自己:Excel快速导入Oracle 数据库