Hadoop伪分布模式配置

Posted 2020-12-13 菜鸟程序员

Hadoop伪分布模式配置

  Hadoop共有三种部署方式：本地模式，伪分布模式及集群模式；本次安装配置以伪分布模式为主，即在一台服务器上运行Hadoop（如果是分布式模式，则首先要配置Master主节点，其次配置Slave从节点）。以下说明如无特殊说明，默认使用root用户登录主节点，进行以下的一系列配置。

1、安装配置JDK
并配置环境变量，此处省略...

2、 SSH（Secure Shell）的免密码登录
 

1.  
   [root@VM_0_3_centos ~]# ssh-keygen -t rsa
2.  
   [root@VM_0_3_centos ~]# ls -a
3.  
   .   .bash_history  .bash_profile  .cache   .cshrc             .pip  .pydistutils.cfg  .tcshrc
4.  
   ..  .bash_logout   .bashrc        .config  .oracle_jre_usage  .pki  .ssh              .viminfo

执行产生密钥命令：位于用户目录下的.ssh文件中（.ssh为隐藏文件，可以通过ls –a查看）

进入.ssh目录，拷贝验证文件：cp id_rsa.pub authorized_keys

1.  
   [root@VM_0_3_centos ~]# cd .ssh/
2.  
   [root@VM_0_3_centos .ssh]# ls
3.  
   authorized_keys  id_rsa  id_rsa.pub  known_hosts
4.  
   [root@VM_0_3_centos .ssh]# cp id_rsa.pub authorized_keys
5.  
   cp: overwrite ‘authorized_keys’? y

验证：ssh localhost

1.  
   [root@VM_0_3_centos .ssh]# ssh localhost
2.  
   Last login: Mon Jun 11 10:49:26 2018 from 59.41.72.243

3、配置Hadoop相关环境变量：vi /etc/profile，

在其中增加一行：

1.  
   export JAVA_HOME=/usr/software/java/jdk8
2.  
   export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
3.  
   export HADOOP_HOME=/home/svr/deploy/service/hadoop
4.  
   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

生效环境变量：source /etc/profile
[root@VM_0_3_centos .ssh]# source /etc/profile

4、修改Hadoop的配置文件，它们位于$HADOOP_HOME/conf目录下。
/home/svr/deploy/service/hadoop/etc/hadoop
分别修改四个配置文件：
hadoop-env.sh、
core-site.xml、
hdfs-site.xml、
mapred-site.xml；

具体下修改内容如下：
1)hadoop-env.sh
 

export JAVA_HOME=/usr/software/java/jdk8

 

如果虚拟机内存低于1G，还需要修改HADOOP_HEAPSIZE（默认为1000）的值：
export HADOOP_HEAPSIZE=100

2)core-site.xml
在configuration中增加以下内容（其中的ip为机器IP地址）：
 

1.  
   <property>
2.  
       <name>fs.default.name</name>
3.  
   　　<value>hdfs://ip:9000</value>
4.  
   　　<description>change your own hostname</description>
5.  
   </property>
6.  
   <property>
7.  
   　　<name>hadoop.tmp.dir</name>
8.  
   　　<value>/home/svr/deploy/service/tmp</value>
9.  
   </property>

3)hdfs-site.xml
在configuration中增加以下内容：

设置nameNode节点和dataNode节点的存储目录：

name和data目录需要设置755权限，即：chmod -R 755 /name

1.  
   <property>
2.  
       <name>dfs.namenode.name.dir</name>
3.  
       <value>file:/home/svr/deploy/service/hdfs/name</value>
4.  
   </property>
5.  
    
6.  
   <property>
7.  
       <name>dfs.datanode.data.dir</name>
8.  
       <value>file:/home/svr/deploy/service/hdfs/data</value>
9.  
   </property>
10.  
    <property>
11.  
    　<name>dfs.replication</name>
12.  
    　<value>1</value>
13.  
    </property>
14.  
    <property>
15.  
    　<name>dfs.permissions</name>
16.  
    　<value>false</value>
17.  
    </property>

4)mapred-site.xml
重命名：mv mapred-site.xml.template  mapred-site.xml
修改文件：vi mapred-site.xml
在configuration中增加以下内容（其中的ip为你机器的IP地址）：
 

1.  
   <property>
2.  
   　　<name>mapred.job.tracker</name>
3.  
   　　<value>ip:9001</value>
4.  
   　　<description>change your own hostname</description>
5.  
   </property>

5、执行命令对Hadoop进行初始格式化：hadoop namenode -format
进入bin目录
 

1.  
   [root@VM_0_3_centos bin]# cd /home/svr/deploy/service/hadoop/bin
2.  
   [root@VM_0_3_centos bin]# hadoop namenode -format
3.  
   DEPRECATED: Use of this script to execute hdfs command is deprecated.
4.  
   Instead use the hdfs command for it.
5.  
   ...
6.  
   18/06/12 16:47:22 INFO namenode.NameNode: SHUTDOWN_MSG: 
7.  
   /************************************************************
8.  
   SHUTDOWN_MSG: Shutting down NameNode at VM_0_3_centos/127.0.0.1
9.  
   ************************************************************/

6、执行命令启动Hadoop：start-all.sh（一次性启动所有进程）
 

1.  
   进入启动目录：
2.  
   [root@VM_0_3_centos ~]# cd /home/svr/deploy/service/hadoop/sbin
3.  
   [root@VM_0_3_centos sbin]# ./start-all.sh
4.  
   [root@VM_0_3_centos hadoop]# jps
5.  
   5694 SecondaryNameNode 
6.  
   6070 Jps 
7.  
   5384 NameNode 
8.  
   5527 DataNode 
9.  
   5848 ResourceManager 
10.  
    5952 NodeManager

7、启动完成后可以查看管理界面：
http://118.24.29.250:50070/dfshealth.html#tab-overview

http://118.24.29.250:8088/cluster

 

转载自：https://blog.csdn.net/yuyecsdn/article/details/90109549