hadoop安装

Posted 2020-07-03 guaidaoK的博客

参考http://www.powerxing.com/install-hadoop/

安装环境：

ubuntu 14.04 ，64位

下载：

Oracle   JDK 1.7

hadoop2.6

 

1、安装jdk。

将jdk的tar.gz包解压缩到/usr/lib/jvm/下，重命名为java，

在~/.bashrc中添加环境变量：

export JAVA_HOME=/usr/lib/jvm/java

export JRE_HOME=${JAVA_HOME}/jre 

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 

export PATH=${JAVA_HOME}/bin:$PATH

 

2、安装openssh server 

sudo apt-get install openssh-server

 

3、设置SSH无密码登录

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

在输入ssh localhost，无需密码就能直接登录了。

 

4、解压hadoop的 tar.gz包

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

 

5、hadoop的单机（非分布式）配置。

hadoop默认为单机模式，无需配置。

 

6、hadoop伪分布式配置。

修改hadoop安装文件夹/etc/hadoop/core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://服务器IP地址:9000</value>
        </property>
</configuration>

 

修改hadoop安装文件夹/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

 

7、执行NameNode的格式化

./bin/hdfs namenode -format

 

8、开启NameNode和DataNode的守护进程

./sbin/start-dfs.sh

 

运行完毕。

可以访问http://IP:50070在线查看hdfs中的文件

 

9、启动YARN。

重命名mapred-site.xml文件

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

编辑mapred-site.xml文件

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

修改配置文件 yarn-site.xml

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

启动 YARN

./sbin/start-yarn.sh      # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

可在线查看YARN的任务运行情况。

http://IP地址:8088/

 

结束。