hadoop单节点搭建

Posted 2021-12-21 A_十二一

一、修改“localhost”为“node1”

输入“vim /etc/sysconfig/network” —— 改为 HOSTNAME =node1

 

二、重启 —— reboot

 

三、关闭封火墙 ——service iptables stop

 

四、安装jdk ，配置环境变量

输入“vim /etc/profile”——加入环境变量——执行“. /etc/profile”或者“source /etc/profile”让配置生效！！！

 

五、安装 Hadoop2.6.5 ，配置环境变量

输入“tar -zxvf hadoop-2.6.5.tar.gz -C /opt”——将此文件解压到opt目录下 —— 输入“vim /etc/profile”——加入环境变量——执行“. /etc/profile”或者“source /etc/profile”让配置生效！！！

 

 

export HADOOP_PREFIX=/opt/hadoop-2.6.5

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

 

注意：环境变量配置错误：vi,ls,不能使用——输入“export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin”

六、修改/etc/hosts文件

在里面添加“192.168.65.101 （本机地址） —— （Tab）—— node1(写centos6的地址)”

 

七、免密钥配置

输入“ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa”

 

八、进入“ .ssh文件”——“ ls ”——执行“cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys”——“ ls ”

 

九、输入“ssh node1/127.0.0.1”——“yes”

 

十、先进入“cd /opt/hadoop-2.6.5/etc/hadoop/”目录下在进行下一步！！！

十一、输入“vi hadoop-env.sh”——修改为自己安装的jdk版本，注意是修改！！！不是添加！！！

 

找到“jdk”路径，复制粘贴

 

十二、配置core-site.xml —— 输入“vi core-site.xml”

   <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node1:9000</value>         #地址

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/var/hadoop/local</value>

    </property>

十三、配置hdfs-site.xml —— 输入“vi hdfs-site.xml”

    <property>

        <name>dfs.replication</name>

        <value>1</value>         #副本数

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node1:50090</value>              #地址

    </property>

”

十四、配置“slaves”（奴隶文件）文件 —— 输入“vi slaves”——写入“node1”

改为：

 

十五、格式化hdfs 

注意：只能格式化一次，再次启动集群不要执行！！！—— 输入“ hdfs namenode -format ”

 

输入命令“ hdfs  namenode-format ”将会出现错误 注意“-format”前有“空格”！！！

 

十六、启动集群 —— 输入“start-dfs.sh”

 

十七、查看进程 —— 角色进程查看“ jps ”——如果输入jps命令查看有下面这几个节点就是对的，数字可能不一样的，但是字母都一样

 

十八、在windows 的浏览器中输入http://192.168.x.x:50070、如果出现页面就证明成功了，记住默认端口为50070 ：