Ubuntu16.04 install hadoop-2.8.1.tar.gz Cluster Setup

Posted 2020-10-11

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Ubuntu16.04 install hadoop-2.8.1.tar.gz Cluster Setup相关的知识，希望对你有一定的参考价值。

环境说明：

　　ip地址　　　　　　用户名称　　机器名称　　　　　　　　机器角色

　　192.168.3.150　　donny　　　 donny-Lenovo-B40-80　　Master + Salve

　　192.168.3.167　　cqb　　　　 cqb-Lenovo-B40-80　　 Salve

Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；Salve机器配置DataNode 和TaskTracker的角色，负责分布式数据存储以及任务的执行；此处应该还有1个Master机器（备用），以防止Master服务器宕机。

注意：由于hadoop要求所有机器上hadoop的部署目录结构要求相同（因为在启动时按与主节点相同的目录启动其它任务节点），并且都有一个相同的用户名账户。参考各种文档上说的是所有机器都建立一个hadoop用户，使用这个账户来实现无密码认证。这里为了方便，分别在三台机器上都重新建立一个hadoop用户。（强烈推荐此做法，别学穷博主）

环境配置

　　修改hostname　　vim /etc/hostname　　修改后用 hostname 检验修改成功

　　添加hosts　　vim /etc/hosts　　192.168.3.150 donny-Lenovo-B40-80 192.168.3.167 cqb-Lenovo-B40-80

ssh配置

　　ssh-keygen -t rsa

　　ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

hadoop配置

vim /etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://donny-Lenovo-B40-80:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>
vim /etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

vim /etc/hadoop/mapred-site.xml
<configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
      <property>
          <name>mapreduce.jobhistory.address</name>
          <value>donny-Lenovo-B40-80:10020</value>
    </property>
    <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>donny-Lenovo-B40-80:19888</value>
    </property>
</configuration>

vim /etc/hadoop/yarn-site.xml
<configuration>
   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>donny-Lenovo-B40-80</value>
   </property>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
</configuration>

vim /etc/hadoop/masters

　　donny-Lenovo-B40-80

vim /etc/hadoop/slaves

　　donny-Lenovo-B40-80
　　cqb-Lenovo-B40-80

把 namenode 发给 datanode

　　scp -r /etc/hadoop/ [email protected]:/tmp/

启动

　　第一次格式化 hdfs namenode -format

　　在 nomenode 执行

　　　　hadoop-daemon.sh start namenode

　　　　hadoop-daemon.sh start datanode　　（可选）

　　　　yarn-daemon.sh start nodemanager