Hadoop伪分布模式配置

Posted 菜鸟程序员

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop伪分布模式配置相关的知识,希望对你有一定的参考价值。

Hadoop伪分布模式配置

  Hadoop共有三种部署方式:本地模式,伪分布模式及集群模式;本次安装配置以伪分布模式为主,即在一台服务器上运行Hadoop(如果是分布式模式,则首先要配置Master主节点,其次配置Slave从节点)。以下说明如无特殊说明,默认使用root用户登录主节点,进行以下的一系列配置。

1、安装配置JDK
并配置环境变量,此处省略...

2、 SSH(Secure Shell)的免密码登录
 

  1.  
    [root@VM_0_3_centos ~]# ssh-keygen -t rsa
  2.  
    [root@VM_0_3_centos ~]# ls -a
  3.  
    .   .bash_history  .bash_profile  .cache   .cshrc             .pip  .pydistutils.cfg  .tcshrc
  4.  
    ..  .bash_logout   .bashrc        .config  .oracle_jre_usage  .pki  .ssh              .viminfo


执行产生密钥命令:位于用户目录下的.ssh文件中(.ssh为隐藏文件,可以通过ls –a查看)

进入.ssh目录,拷贝验证文件:cp id_rsa.pub authorized_keys

  1.  
    [root@VM_0_3_centos ~]# cd .ssh/
  2.  
    [root@VM_0_3_centos .ssh]# ls
  3.  
    authorized_keys  id_rsa  id_rsa.pub  known_hosts
  4.  
    [root@VM_0_3_centos .ssh]# cp id_rsa.pub authorized_keys
  5.  
    cp: overwrite ‘authorized_keys’? y


验证:ssh localhost

  1.  
    [root@VM_0_3_centos .ssh]# ssh localhost
  2.  
    Last login: Mon Jun 11 10:49:26 2018 from 59.41.72.243

3、配置Hadoop相关环境变量:vi /etc/profile,

在其中增加一行:

  1.  
    export JAVA_HOME=/usr/software/java/jdk8
  2.  
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  3.  
    export HADOOP_HOME=/home/svr/deploy/service/hadoop
  4.  
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH


生效环境变量:source /etc/profile
[root@VM_0_3_centos .ssh]# source /etc/profile

4、修改Hadoop的配置文件,它们位于$HADOOP_HOME/conf目录下。
/home/svr/deploy/service/hadoop/etc/hadoop
分别修改四个配置文件:
hadoop-env.sh、
core-site.xml、
hdfs-site.xml、
mapred-site.xml;

具体下修改内容如下:
1)hadoop-env.sh
 

export JAVA_HOME=/usr/software/java/jdk8


如果虚拟机内存低于1G,还需要修改HADOOP_HEAPSIZE(默认为1000)的值:
export HADOOP_HEAPSIZE=100

2)core-site.xml
在configuration中增加以下内容(其中的ip为机器IP地址):
 

  1.  
    <property>
  2.  
        <name>fs.default.name</name>
  3.  
      <value>hdfs://ip:9000</value>
  4.  
      <description>change your own hostname</description>
  5.  
    </property>
  6.  
    <property>
  7.  
      <name>hadoop.tmp.dir</name>
  8.  
      <value>/home/svr/deploy/service/tmp</value>
  9.  
    </property>


3)hdfs-site.xml
在configuration中增加以下内容:

设置nameNode节点和dataNode节点的存储目录:

name和data目录需要设置755权限,即:chmod -R 755 /name

  1.  
    <property>
  2.  
        <name>dfs.namenode.name.dir</name>
  3.  
        <value>file:/home/svr/deploy/service/hdfs/name</value>
  4.  
    </property>
  5.  
     
  6.  
    <property>
  7.  
        <name>dfs.datanode.data.dir</name>
  8.  
        <value>file:/home/svr/deploy/service/hdfs/data</value>
  9.  
    </property>
  10.  
    <property>
  11.  
     <name>dfs.replication</name>
  12.  
     <value>1</value>
  13.  
    </property>
  14.  
    <property>
  15.  
     <name>dfs.permissions</name>
  16.  
     <value>false</value>
  17.  
    </property>

4)mapred-site.xml
重命名:mv mapred-site.xml.template  mapred-site.xml
修改文件:vi mapred-site.xml
在configuration中增加以下内容(其中的ip为你机器的IP地址):
 

  1.  
    <property>
  2.  
      <name>mapred.job.tracker</name>
  3.  
      <value>ip:9001</value>
  4.  
      <description>change your own hostname</description>
  5.  
    </property>


5、执行命令对Hadoop进行初始格式化:hadoop namenode -format
进入bin目录
 

  1.  
    [root@VM_0_3_centos bin]# cd /home/svr/deploy/service/hadoop/bin
  2.  
    [root@VM_0_3_centos bin]# hadoop namenode -format
  3.  
    DEPRECATED: Use of this script to execute hdfs command is deprecated.
  4.  
    Instead use the hdfs command for it.
  5.  
    ...
  6.  
    18/06/12 16:47:22 INFO namenode.NameNode: SHUTDOWN_MSG: 
  7.  
    /************************************************************
  8.  
    SHUTDOWN_MSG: Shutting down NameNode at VM_0_3_centos/127.0.0.1
  9.  
    ************************************************************/


6、执行命令启动Hadoop:start-all.sh(一次性启动所有进程)
 

  1.  
    进入启动目录:
  2.  
    [root@VM_0_3_centos ~]# cd /home/svr/deploy/service/hadoop/sbin
  3.  
    [root@VM_0_3_centos sbin]# ./start-all.sh
  4.  
    [root@VM_0_3_centos hadoop]# jps
  5.  
    5694 SecondaryNameNode 
  6.  
    6070 Jps 
  7.  
    5384 NameNode 
  8.  
    5527 DataNode 
  9.  
    5848 ResourceManager 
  10.  
    5952 NodeManager


7、启动完成后可以查看管理界面:
http://118.24.29.250:50070/dfshealth.html#tab-overview

技术图片


http://118.24.29.250:8088/cluster

技术图片

 

转载自:https://blog.csdn.net/yuyecsdn/article/details/90109549

 

以上是关于Hadoop伪分布模式配置的主要内容,如果未能解决你的问题,请参考以下文章

3-2 Hadoop伪分布模式配置部署

hadoop的安装和配置——第二章:伪分布模式

hadoop安装配置——伪分布模式

hadoop单机模式和伪分布式模式的异同

hadoop单机模式和伪分布式模式的异同

hadoop伪分布式