Hadoop伪分布式部署

Posted 2020-06-09

为了测试方便记录下hadoop伪分布式部署：

包下载地址：http://archive.cloudera.com/cdh5/cdh/5/

我选用的是cdh5.4.5版本

etc/profile 配置文件

export JAVA_HOME=/home/jdk1.7.0_79
export JRE_HOME=/home/jdk1.7.0_79/jre
export HADOOP_HOME=/home/hadoop-2.6.0-cdh5.4.5
export HBASE_HOME=/home/hbase-1.0.0-cdh5.4.5
#export HADOOP_CONF_DIR=/home/hadoop-2.6.0-cdh5.4.5/etc/hadoop
export CLASSPATH=./:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib
export SCALA_HOME=/home/scala-2.11.6
#export SPARK_HOME=/home/hadoop/CDH5/spark-1.0.2-bin-hadoop2
export SPARK_HOME=/home/spark-1.6.0-bin-hadoop2.6
export SBT_HOME=/home/sbt
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$SCALA_HOME/bin:$SBT_HOME/bin:$HBASE_HOME/bin

 

Hadoop配置：

1、core-site.xml

     <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/home/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://node11:9000</value>
        </property>

 2、hdfs-site.xml

  <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/hadoop/tmp/dfs/data</value>
        </property>

3、mapred-site.xml

       <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>

4、yarn-site.xml

  <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>

5、hadoop-env.sh  第25行

25 export JAVA_HOME=/home/jdk1.7.0_79

格式化：

如果有五个进程表明安装成功：

 

第二: HBase配置

1、hbase-site.xml

   <property>
  <name>hbase.rootdir</name>
  <value>hdfs://node11:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>node11</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

<property>
  <name>hbase.regionserver.wal.codec</name>
  <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>

2、在regoinServer 配置自己的主机名

node11

3、hbase-env.sh

在29行配置jdk：

export JAVA_HOME=/home/jdk1.7.0_79

4、启动start-hbase.sh

如果有如下3个进程表明安装成功