hadoop安装

Posted 海东青Lo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop安装相关的知识,希望对你有一定的参考价值。

1、环境变量 /etc/profile  ——java_home \ hadoop_home

     主机IP绑定 /etc/hosts

 

2、配置SSH无密码访问

进Master主机,创建ssh-key

执行:ssh-keygen -t rsa

此时在~/.ssh文件夹下生成两个文件 id_rsa 和 id_rsa.pub

为了使master对slaver能实现免密码登录,必须拷贝master的公匙到slaver。此操作在master完成。

cd ~/.ssh

scp ./id_rsa.pub Slaver:~/.ssh/id_master.pub

ssh ~/.ssh

cd ~/.ssh

cat id_master.pub >> authorized_keys

开始是没有authorized_keys这个文件的。

 

3、hadoop配置详解

core-site.xml 

  fs.defaultFS     NameNode URI

  io.file.buffer.size   SequenceFiles文件中,读写缓存size设定

hdfs-site.xml

  namenode 

    dfs.namenode.name.dir

    dfs.namenode.hosts

    dfs.blocksize

    dfs.namenode.handler.count  设置namenode线程,处理datanode RPC请求

  datanode

    dfs.datanode.data.dir

 

4、yarn-site.xml

  RM&NM

    yarn.acl.enable  true/false启用acl

    yarn.admin.acl  访问控制列表

  RM

    yarn.resourcemanager.address  客户端对RM提交作业

    yarn.resourcemanager.scheduler.address  AM通过RM主机访问host:port跟踪调度程序获取资源

    yarn.resourcemanager.resource-tracker.address  NM通过RM主机访问host:port 

 

5、hadoop shell命令

hdfs dfs -ls /  查看路径下文件(夹)信息

hdfs dfs -mkdir path  创建文件夹

hdfs dfs -put localfile hadooppath  上传文件

hdfs dfs -text/-cat hadoopfile  查看文件内容

 

 

      

     

 

以上是关于hadoop安装的主要内容,如果未能解决你的问题,请参考以下文章

Docker安装Hadoop

Hadoop安装 --- Hadoop安装

Hadoop全分布式的安装--hadoop-2.7.3

如何在windows下安装hadoop

hadoop安装教程

hadoop安装问题