Hadoop笔记之搭建环境

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop笔记之搭建环境相关的知识,希望对你有一定的参考价值。

 

Hadoop的环境搭建分为单机模式、伪分布式模式、完全分布式模式。

 

因为我的本本比较挫,所以就使用伪分布式模式。

 

安装JDK

一般Linux自带的Java运行环境都是Open JDK,我们到官网下载Oracle JDK(http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html):

image

需要注意的是官网上直接右键复制的话是下载不成功的,F12,单机,看网络请求包:

image

然后复制地址wget即可:

wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

解压:

tar zxvf jdk-8u131-linux-x64.tar.gz

配置相关的环境变量:

vim /etc/profile

如果还没有vim的话可以使用yum install vim来安装,在profile文件末尾追加:

export JAVA_HOME=/usr/local/jdk1.8.0_131 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

重新加载profile:

source /etc/profile

查看Java版本:

image

如果是默认的话就是Open JDK,这里已经换成了Oracle JDK了,JDK安装完成。

 

配置SSH免密码登录

在当前用户目录下新建隐藏文件.ssh:

 mkdir .ssh

cd到.ssh目录中,生成公钥和私钥:

ssh-keygen -t dsa -P \'\' -f ~/.ssh/id_dsa

把公钥追加到授权key中:

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

然后尝试直接连接到本地:

ssh -version

第一次可能会有提示,再之后登陆的时候会直接登陆进来而无需每次都输入密码。

 

安装Hadoop

到官网找到一个合适的版本  http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.0/

image

使用wget下载到本地:

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

image

如果wget还没有安装的话,使用下面的命令安装:

yum install wget

解压targz文件:

tar zxvf hadoop-2.8.0.tar.gz

 

修改Hadoop的配置文件($HADOOP_HOME/etc/hadoop):

vim core-site.xml

编辑内容:

<configuration>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.2.131:9000</value>
    </property>

</configuration>

需要注意的是这里配置的路径中不能使用~来代替宿主目录,不然后面初始化的时候找不到此目录就会报NPE。

编辑mapred-site.xml.template文件:

vim mapred-site.xml.template

修改内容:

<configuration>

    <property>
        <name>mapred.job.tracker</name>
        <value>192.168.2.131:9001</value>
    </property>

</configuration>

编辑hdfs-site.xml文件:

vim hdfs-site.xml

编辑内容:

<configuration>

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/root/hadoop/tmp/dfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/hadoop/tmp/dfs/data</value>
    </property>

</configuration>

初始化Hadoop目录,在$HADOOP_HOME/bin下执行:

./hdfs namenode -format

出现这个就说明初始化成功了:

image

 

启动NameNode和DataNode守护进程:

切换到$HADOOP_HOME/sbin下,执行:

./start-dfs.sh

 

如果启动的时候报了这个错的话:

image

切换到$HADOOP_HOME下,执行:

vim etc/hadoop/hadoop-env.sh

在文件的末尾追加$JAVA_HOME变量:

export JAVA_HOME=/usr/local/jdk1.8.0_131 

 

启动完毕使用jps命令查看进程信息:

image

上面这样子说明就是启动成功了。

 

在浏览器中输入http://192.168.2.131:50070可查看web界面。

 

但是这个时候要使用hadoop命令还必须得去特定的目录下使用,将其加入到$PATH中:

vim /etc/profile

在文件尾部追加:

export JAVA_HOME=/usr/local/jdk1.8.0_131
export HADOOP_HOME=/usr/local/hadoop-2.8.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重新加载一下:

source /etc/profile

测试一下:

image

 

 

.

以上是关于Hadoop笔记之搭建环境的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop学习笔记二 集群环境搭建

大数据测试之hadoop单机环境搭建(超级详细版)

大数据测试之hadoop单机环境搭建(超级详细版)

Hadoop学习笔记—14.ZooKeeper环境搭建

湿货|大数据测试之hadoop单机环境搭建(超级详细版)

Hadoop学习笔记—22.Hadoop2.x环境搭建与配置