hadoop安装

Posted guaidaoK的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop安装相关的知识,希望对你有一定的参考价值。

参考http://www.powerxing.com/install-hadoop/

安装环境:

ubuntu 14.04 ,64位
下载:
Oracle   JDK 1.7
hadoop2.6
 
1、安装jdk。
将jdk的tar.gz包解压缩到/usr/lib/jvm/下,重命名为java,
在~/.bashrc中添加环境变量:
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:$PATH
 
2、安装openssh server 
sudo apt-get install openssh-server
 
3、设置SSH无密码登录
cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权
在输入ssh localhost,无需密码就能直接登录了。
 
4、解压hadoop的 tar.gz包
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限
 
5、hadoop的单机(非分布式)配置。
hadoop默认为单机模式,无需配置。
 
6、hadoop伪分布式配置。
修改hadoop安装文件夹/etc/hadoop/core-site.xml
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://服务器IP地址:9000</value>
        </property>
</configuration>
 
修改hadoop安装文件夹/etc/hadoop/hdfs-site.xml
<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>
 
7、执行NameNode的格式化
./bin/hdfs namenode -format
 
8、开启NameNode和DataNode的守护进程
./sbin/start-dfs.sh
 
运行完毕。
可以访问http://IP:50070在线查看hdfs中的文件
 
9、启动YARN。
重命名mapred-site.xml文件
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
编辑mapred-site.xml文件
<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>
修改配置文件 yarn-site.xml
<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>
启动 YARN
./sbin/start-yarn.sh      # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器,才能在Web中查看任务运行情况
可在线查看YARN的任务运行情况。
http://IP地址:8088/
 
结束。

以上是关于hadoop安装的主要内容,如果未能解决你的问题,请参考以下文章

Docker安装Hadoop

Hadoop安装 --- Hadoop安装

Hadoop全分布式的安装--hadoop-2.7.3

如何在windows下安装hadoop

hadoop安装教程

hadoop安装问题