Hadoop的安装(单机和集群)

Posted 2021-01-19 xiaotutu365

Hadoop单机的安装

Hadoop的安装包括以下几个步骤：

• 安装jdk
• 安装hadoop

安装jdk

> vim /etc/profile
(在该文件最下面增加以下语句)
export JAVA_HOME=/home/app/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

保存后退出，执行source /etc/profile
执行java -version，如果有结果，则说明jdk配置成功。

安装hadoop

第一步：配置免密登陆

> ssh-keygen -t rsa
一路回车，直到生成密钥
> cd ~/.ssh
发现这个目录下有两个文件：id_rsa id_rsa.pub
> cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
> chmod 600 ~/.ssh/authorized_keys

到此为止，免密登陆配置完成。可以尝试一下是否配置成功：

> ssh localhost

如果不需要输入密码，就登陆进去，则说明配置成功。

第二步：配置hadoop

首先，解压hadoop安装包

> tar -zxvf hadoop-2.7.7.tar.gz

其次，修改hadoop配置文件（/your_hadoop_path/etc/hadoop）

• hadoop-env.sh

> export JAVA_HOME=/home/app/jdk1.8.0_191

• hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/app/data/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/home/app/data/hadoop/dfs/data</value>
    </property>
</configuration>

• core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/app/data/hadoop/dfs/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
</configuration>

启动hadoop

格式化namenode（/your_hadoop_path/bin）

> ./hdfs namenode -format

启动hadoop（/your_hadoop_path/sbin）

> ./start-dfs.sh

操作hadoop（/your_hadoop_path/bin）

> ./hdfs dfs -ls /(查询)
> ./hdfs dfs -mkdir /test(创建)
> ./hdfs dfs -ls /(查询)
发现已经多了一个/test文件夹