Hadoop入门

Posted March On

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop入门相关的知识,希望对你有一定的参考价值。

环境准备:

  • Hadoop:http://hadoop.apache.org/releases.html,下载并解压。
  • JDK:Hadoop依赖于Java,JDK版本跟具体选用的Hadoop版本有关,比如这里用Hadoop-3.0.0, 其要求至少为Java 8。

Hadoop目录说明:

1. bin:Hadoop最基本的管理脚本和使用脚本所在目录
2. etc:Hadoop配置文件所在的目录,包括core-site.xml、hdfs-site.xml、mapred-site.xml等
3. include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C++定义的,通常用于C++语言访问HDFS或者编写MapReduce程序
4. lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。
5. libexec:各个服务对应的Shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息。
6. sbin:Hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本。
7. share:Hadoop各个模块编译后的JAR包所在目录。

 

 

将Hadoop、Java添加到环境变量:

编辑/etc/profile,将java、Hadoop添加到环境变量中,并执行source命令使配置生效。(当然也可以在其他位置配置如/etc/bash.bashrc,视希望的生效范围而定)

1 export JAVA_HOME=/usr/jdk/jdk1.8.0_73
2 export HADOOP_HOME=/root/zsm/hadoop-3.0.0
3 export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin

配置完后,试着执行 hadoop version ,若正确显示结果,则安装成功。示例如下:

[email protected]:/usr/jdk/jdk1.8.0_73# hadoop version
Hadoop 3.0.0
Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r c25427ceca461ee979d30edd7a4b0f50718e6533
Compiled by andrew on 2017-12-08T19:16Z
Compiled with protoc 2.5.0
From source with checksum 397832cb5529187dc8cd74ad54ff22
This command was run using /root/zsm/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0.jar

 

以上是关于Hadoop入门的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop快速入门

Atom编辑器入门到精通 Atom使用进阶

Hadoop HDFS编程 API入门系列之RPC版本2

hadoop入门学习系列之六hadoop学习之sqoop安装

Hadoop HDFS编程 API入门系列之简单综合版本1

Hadoop HDFS编程 API入门系列之HdfsUtil版本1