hadoop安装配置——伪分布模式

Posted 请Java和Android开发者吃点干货

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop安装配置——伪分布模式相关的知识,希望对你有一定的参考价值。

1. 安装

这里以安装hadoop-0.20.2为例

先安装java,参考这个

去着下载hadoop

解压

tar -xzf hadoop-0.20.2

 

2. 配置

修改环境变量

vim ~/.bashrc
export HADOOP_HOME=/home/rte/hadoop-0.20.2   #这里为实际hadoop解压的目录位置export PATH=$PATH:$HADOOP_HOME/bin
source ~/.bashrc

配置hadoop-env.sh

vim conf/hadoop-env.shexport JAVA_HOME=/home/rte/Software/java/jdk1.6.0_27

配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件

文件:core-site.xml

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property></configuration>

hadoop安装配置——伪分布模式

文件:mapred-site.xml

hadoop安装配置——伪分布模式

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value> 
        </property></configuration>

hadoop安装配置——伪分布模式

文件:hdfs-site.xml

hadoop安装配置——伪分布模式

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property></configuration>

hadoop安装配置——伪分布模式

 

3. 开启关闭

通过NameNode格式化HDFS文件系统

cd hadoop-0.20.2/conf
hadoop namenode -format

开启hadoop

cd hadoop-0.20.2/binsh start-all.sh

hadoop安装配置——伪分布模式

通过jps命令检查期望的hadoop进程是否运行

关闭hadoop

cd hadoop-0.20.2/binsh stop-all.sh

 

4. 参考

Running Hadoop on Ubuntu Linux (Single-Node Cluster)

hadoop三个配置文件的参数含义说明

hadoop安装配置

阅读全文请点击下面的阅读原文

以上是关于hadoop安装配置——伪分布模式的主要内容,如果未能解决你的问题,请参考以下文章

hadoop安装配置——伪分布模式

Ubuntu 安装 Hadoop(伪分布模式)

Hadoop之伪分布式安装

大数据分析技术:hadoop伪分布模式安装

云计算课程实验之安装Hadoop及配置伪分布式模式的Hadoop

3-2 Hadoop伪分布模式配置部署