Hadoop伪分布式搭建

Posted 2020-11-06 Code_exploration

一：搭建的种类

　　1）本机模式

　　2）伪分布式模式

　　3）完全分布式模式

我们先来学习下搭建伪分布式模式。

二：要求

　　hadoop版本2.7.3，这个版本的hadoop有些小的bug但是不影响使用，电脑要求8G内存，最好加固态硬盘，会大大提升电脑的性能，centos6.5/6.8。

三：安装步骤

　　　　1.安装centos6.5／6.8,注意：采用自建用户***，我们用hyxy，密码自己设定，我们用123456，不能采用root，所有的软件都放在/home/hyxy/soft目录下。

　　　　2.卸载本机自带jdk，先用命令 rpm -qa | grep java检测本机都有哪些jdk，然后用 rpm -e --nodeps ***，***为你检测出的jdk名称，reg：rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.x86_64。

　　　　3.安装jdk1.8版本，并创建软连接，创建软连接命令为:ln -s 源文件 目标文件。

　　　　4.配置环境变量在.bash_profile下，写明JAVA_HOME，CLASSPATH，PATH。

　　　　5.安装hadoop，解压，创建软连接，到.bash_profile下配置环境变量，写明HADOOP_HOME和PATH。

　　　　6.用命令source .bash_profile进行生效。检测java和hadoop是否配置成功，输入java -version 和hadoop version 都会显示对应的版本号，说明配置成功。

　　　　7.配置hadoop的配置文件

　　　　　　1）hadoop-env.sh 添加JAVA_HOME 

　　　　　　2）yarn-env.sh 添加JAVA_HOME

　　　　　　3）core-site.xml 

　　　　　　　　备注：localhost为主机名，端口号是9000，默认端口号是8020，可以不写。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

　　　　　　   4) hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 

　　　　 8.配置无密登陆　

$ ssh localhost(主机名)
$ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

 

　　　　9.格式化文件系统

　　　　　　使用命令：hdfs namenode -format

　　　　10.开启服务

　　　　　　使用命令start-all.sh ，输入jps命令查看进程，一共是5个，输入http://localhost:50070/会查看到你的live node为一个说明配置正确，50070为默认端口号。