03Hadoop3与Centos7安装手册

Posted 2020-08-23

安装hadoop

解压hadoop

sudo tar -zxvf hadoop

相关配置

1、将doc目录进行删除

将/hadoop01/hadoop3/share

下的doc目录进行删除

rm -rf doc

2、对hadoop01/hadoop3/etc/hadoop

修改export JAVA_HOME="/yds/java/jdk8"

chmod +x hadoop-env.sh

3、伪分布式的环境搭建

目录：/hadoop01/hadoop3/etc/hadoop

3-1、修改core-site.xml

在configuration节点上加

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop001:9000</value>

</property>

注:hadoop001是主机名

3-2、修改hdfs-site.xml

在configuration节点上加

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

3-3、免密设置

ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa   

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  

chmod  0600 ~/.ssh/authorized_keys

可通过ssh 主机名进行测试

3-4、启动hadoop

首次启动需要初始化

进入到bin目录下：

./hdfs namenode -format

如果需要进行hdfs直接运行。需要将hdfs放到里面

修改hdfs的环境变量

sudo /etc/profile

export $HADOOP_HOME=/hadoop01/hadoop3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

启动进入到sbin目录

./start-dfs.sh

查看是否启动:

jps

如果出现外网无法访问时：

端口外网可访问：

iptables -I INPUT 9 -p udp --dport 9870 -j ACCEPT

systemctl start firewalld.service#启动firewall

systemctl stop firewalld.service#停止firewall

systemctl disable firewalld.service#禁止firewall开机启动

访问hdfs:

http://192.168.0.130:9870