Hadoop的安装(单机和集群)

Posted xiaotutu365

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop的安装(单机和集群)相关的知识,希望对你有一定的参考价值。

Hadoop单机的安装

Hadoop的安装包括以下几个步骤:

  • 安装jdk
  • 安装hadoop

安装jdk

> vim /etc/profile
(在该文件最下面增加以下语句)
export JAVA_HOME=/home/app/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

保存后退出,执行source /etc/profile
执行java -version,如果有结果,则说明jdk配置成功。

安装hadoop

第一步:配置免密登陆

> ssh-keygen -t rsa
一路回车,直到生成密钥
> cd ~/.ssh
发现这个目录下有两个文件:id_rsa id_rsa.pub
> cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
> chmod 600 ~/.ssh/authorized_keys

到此为止,免密登陆配置完成。可以尝试一下是否配置成功:

> ssh localhost

如果不需要输入密码,就登陆进去,则说明配置成功。

第二步:配置hadoop

首先,解压hadoop安装包
> tar -zxvf hadoop-2.7.7.tar.gz
其次,修改hadoop配置文件(/your_hadoop_path/etc/hadoop)
  • hadoop-env.sh
> export JAVA_HOME=/home/app/jdk1.8.0_191
  • hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/app/data/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/home/app/data/hadoop/dfs/data</value>
    </property>
</configuration>
  • core-site.xml
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/app/data/hadoop/dfs/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

启动hadoop

格式化namenode(/your_hadoop_path/bin)

> ./hdfs namenode -format

启动hadoop(/your_hadoop_path/sbin)

> ./start-dfs.sh

操作hadoop(/your_hadoop_path/bin)

> ./hdfs dfs -ls /(查询)
> ./hdfs dfs -mkdir /test(创建)
> ./hdfs dfs -ls /(查询)
发现已经多了一个/test文件夹

以上是关于Hadoop的安装(单机和集群)的主要内容,如果未能解决你的问题,请参考以下文章

Spark新手入门(单机模式)——Hadoop集群(伪分布模式)安装

Ubuntu下搭建单机Hadoop和Spark集群环境

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

部署单机版的hadoop+hive小记

Ubuntu上安装Hadoop集群

ubuntu16.04安装hadoop3.02(伪分布式)+集群