启动hadoop集群

Posted 413Xiaol

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了启动hadoop集群相关的知识,希望对你有一定的参考价值。

1.配置core-site.xml(每个节点上都要配置)
  路径:
    /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml
  作用:
    告诉所有机器master的相关信息
  配置项:
    name: fs.defaultFS
    vale: hdfs://master的地址:端口
  例如:
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://192.168.0.104:9000</value>
    </property>

2.配置hosts文件(每个节点上都要配置)
  路径:
    /etc/hosts
  作用:
    告诉集群中每个节点彼此的名字和ip地址
  配置项:
    ip hostname
  例如:
    192.168.0.104 master
    192.168.0.105 slave1
    192.168.0.107 slave2
  如果不配置在启动node的时候会报类似于:java.net.UnknownHostException: master: master: unknown error
3.在master上启动namenode
  格式化namenode
    命令:hdfs namenode -format
    地址:/tmp/hadoop-root/dfs/name
  启动namenode
    命令:hadoop-daemon.sh start namenode
    日志记录在:/usr/local/hadoop-2.7.3/logs/hadoop-root-namenode-master.out
  验证:jps
4.在所有slave上启动datanode
  命令:hadoop-daemon.sh start datanode
  验证:jps
5.查看集群
  在master上执行netstat -tnpl
  tcp 0 0 192.168.0.104:9000 0.0.0.0:* LISTEN 2853/java
  tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 2853/java
  会发现,hadoop启动后,会监听9000端口和50070端口
  9000端口是namenode和datanode通信的端口
  50070端口是提供的web监控界面端口(需要关闭防火墙,否则无法访问)
  web界面地址:http://192.168.0.104:50070/dfshealth.html#tab-overview
6.关闭集群
  hadoop-daemon.sh stop namenode
  hadoop-daemon.sh stop datanode
7.一键式启动
  配置/usr/local/hadoop-2.7.3/etc/hadoop/slaves
    [[email protected] hadoop]# cat slaves
    slave1
    slave2
    这里需要关闭slave1和slave2的防火墙,否则不成功
    slave1和slave2也是通过hosts里去找的
    如果没有设置ssh登录,这里需要输入密码,建议设置ssh登录
    start-dfs.sh也需要登录自己,如果做ssh登录也需要给自己的authorized_keys添加自己的id_rsa.pub
  启动脚本:
    master上执行:start-dfs.sh
8.一键式停止
  master上执行:stop-dfs.sh

  

 



























































以上是关于启动hadoop集群的主要内容,如果未能解决你的问题,请参考以下文章

hadoop集群配置

maven怎么连接hadoop集群

Hadoop集群及组件

启动和关闭Hadoop集群命令步骤

hadoop集群之Datenode无法启动解决办法

Hadoop集群改名导致无法启动DataNode