Hadopp安装配置

Posted 2020-10-03

第一步 创建一个Hadoop用户

　　在开始安装Hadoop之前，建议创建一个单独的用户以从Linux文件系统来隔离Hadoop文件系统。按照下面的步骤创建用户：

　　● 用管理员root用户来创建Hadoop用户

　　● 创建账户使用命令“useradd username”

　　●使用该账户“su username”

第二部 SSH设置和秘钥生成，

　　SSH设置需要在集群上做不同的操作，如启动、停止、分布式守护shell操作。认证不同的hadoop用户需要一种用于Hadoop用户提供的公钥/私钥对，并用不同的用户共享。

　　首先要用到ssh-keygen这条命令，完成的操作是有机器A、B，现在A想通过免密登录到B。

       （1）

　　该命令在当前用户家目录的.ssh目录下面产生一对秘钥：

　　id_rsa：私钥

　　id_rsa.pub：公钥

　　-t参数用来指定产生不同类型的秘钥，有三种类型rsa、rsa1、dsa

　　（2）把A机下的/root/.ssh/id_rsa.pub公钥文件复制到到B机的/root/.ssh/authorized_keys文件里，先要在B机上创建好/home/hadoop/.ssh这个目录。

　　

　　（3）设置authorized_keys文件的权限为600

　　chmod 600 /root/.ssh/authorized_keys

　　（4）验证

　　

第三部 安装Java

　　Java是Hadoop的先决条件，可以用“java -version”命令验证Java是否存在中系统中，若没有安装则要在系统中安装jdk。

第四部 下载hadoop

　　下载来自Apache基金会软件，使用下面的网址获取hadoop-2.8.1

第五步 hadoop概念

　　让我们来看一个简单的例子，Hadoop安装提供了下列MapReduce jar文件，它提供了MapReduce的基本功能。MapReduce采用“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是“任务的分解与结果的汇总”。

　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个时JobTracker；另一个是TaskTracker，JobTracker用于调度工作，TaskTracker用于执行工作。一个Hadoop集群只有一台JobTracker。

　　在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数：map和reduce，map负责把任务分解成多个任务，reduce负责把分解后多个任务处理结果汇总起来。

　　需要注意的是，用MapReduce来处理数据集（或任务）必须具备这样的特点：待处理的数据集可以分成许多小的数据集，而且每个小数据集都可以完全并行地的进行处理。

　　MapReduce处理过程

　　在Hadoop中，每个MapReduce任务都被初始化为一个Job，每个Job又可以分为两种阶段：map阶段和reduce阶段。这两个阶段分别用两个函数表示，用map和reduce函数。map函数接受一个<key,value>形式的输入，然后同样产生一个<key,value>形式的中间输出，Hadoop函数接受一个如<key,(list of values)>形式的输入，然后对这个value的集合进行处理，每个reduce产生0或1个输出，reduce的输出的输出也是<key,value>形式的。

第六步 hadoop的三种模式

下载 Hadoop 以后，可以操作Hadoop集群以以下三个支持模式之一：

• 本地/独立模式：下载Hadoop在系统中，默认情况下之后，它会被配置在一个独立的模式，用于运行Java程序。

• 模拟分布式模式：这是在单台机器的分布式模拟。Hadoop守护每个进程，如 hdfs, yarn, MapReduce 等，都将作为一个独立的java程序运行。这种模式对开发非常有用。

• 完全分布式模式：这种模式是完全分布式的最小两台或多台计算机的集群。

第七步 在单机模式下安装hadoop

　　有单个JVM运行任何守护进程一切都运行。独立模式适合于开发期间运行MapReduce程序，因为它很容易进行测试和调试。

　　设置hadoop

　　可以通过附加下面的命令到~/etc/profile文件中设置Hadoop环境变量。

　　export HADOOP_HOME=/bin/hadoop

　　export PATH=$HADOOP_HOME/bin:$PATH

　　如果这一切设置正常，那么应该看到以下结果：

　　这意味着hadoop在独立模式下工作正常。默认情况下，hadoop被配置为非分布模式的单个机器上运行。

　　示例：运行WorldCount程序

　　单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版的“Hello World”，该程序的完整代码可以在hadoop安装包“src/example”目录下找到。单词计数主要完成的功能是：统计一系列文件中每个单词出现的次数。

准备工作：

（1）创建本地示例文件

　　首先在“/home/hadoop”目录下创建目录“file”，用来存放示例文件。

　　接着创建两个两个文件file1.txt和file2.txt，使file1.txt内容为“Hello World”，而file2.txt内容为“Hello Hadoop”。

（2）在HDFS上创建输入文件

（3）上传本地file文件到input目录下

 

运行例子

（1）在机器上运行WorldCount程序

　　备注：以input作为输入目录，output目录作为输出目录。

　　已编译好的WordCount的jar包在“$HADOOP_HOME/hadoop/share/hadoop/mapreduce/”，就是hadoop-mapreduce-examples-2.8.1.jar，所以在下面执行命令时记得把路径写全了，不然会提示找不到jar包。

 

（2）查看HDFS上output内容

（3）查看输出文件内容

第七部 WorldCount处理过程

　　（1）将文件拆分成splits，由于测试用文件较小，所以每个文件为一个split，并将文件按行分割成<key,value>对，如下图所示。这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符数（Windows和Linux环境会不同）。

　　（2）将分割好的<key,value>对交给用户定义的map方法进行处理，生成新的<key,value>对，如下图所示。

　　（3）得到map方法输出的<key,value>对后，Mapper会将它们按照key值进行排序，并执行Combine过程，将key值同value值累加，得到Mapper的最终输出结果。

 　　（4）Reducer先对从Mapper接受的数据进行排序，再交由用户自定义的reduce方法进行处理，得到新的<key,value>对，并作为WorldCount的输出结果，如下图所示。