HDFS 实验 hadoop 环境配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS 实验 hadoop 环境配置相关的知识,希望对你有一定的参考价值。

需要sun的jdk,所以先要卸载openjdk

[[email protected] ~]# rpm -qa | grep openjdk | xargs rpm -e --nodeps

技术分享图片

好了

技术分享图片

release notes

http://hadoop.apache.org/releases.html

4月8日有一个3.1的新版本,下下来

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz

技术分享图片

useradd hadoop

cd /home/hadoop

su - hadoop

tar -zxvf hadoop-3.1.0.tar.gz

技术分享图片

生成key

ssh-keygen -t rsa

尝试登录本机,pemission denied了

技术分享图片

容我修个错误

vi /etc/ssh/sshd_config

技术分享图片

把rsa和pubkey打开

vi /etc/selinux/config

SELINUX=disabled

然后重启

修改下目录权限

chmod 700 /home/hadoop/.ssh

chmod 644 /home/hadoop/.ssh/authorized_keys

重启ssh服务

systemctl restart sshd

然后ssh本机

ssh localhost

技术分享图片

可以无密码登录了

以上是关于HDFS 实验 hadoop 环境配置的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop中HDFS的API操作客户端环境准备配置HADOOP_HOME环境变量

hadoop-hdfs-环境搭建配置解读

HDFS环境搭建(单节点配置)

Hadoop框架:HDFS高可用环境配置

3-2 Hadoop伪分布模式配置部署

Hadoop HDFS Federation 配置