3-1.Hadoop单机模式安装

Posted andywong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了3-1.Hadoop单机模式安装相关的知识,希望对你有一定的参考价值。

Hadoop单机模式安装

一、实验介绍

1.1 实验内容

  • hadoop三种安装模式介绍
  • hadoop单机模式安装
  • 测试安装

1.2 实验知识点

  • 下载解压/环境变量配置
  • Linux/shell
  • 测试WordCount程序

1.3 实验环境

  • hadoop2.7.6
  • Linux CentOS6终端

1.4 适合人群

本课程难度为一般,属于初级级别课程,适合具有linux基础的用户。

1.5 相关文件

  • https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA

二、Hadoop启动模式

Hadoop集群有三种启动模式:

  • 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境
  • 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的Java进程运行
  • 完全分布式模式:真实的生产环境,搭建在完全分布式的集群环境

三、用户及用户组

需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop。

3.1 添加用户及用户组

创建用户hadoop

# adduser hadoop

# passwd

并按照提示输入hadoop用户的密码,例如密码设定为 hadoop。注意输入密码的时候是不显示的。

将hadoop用户添加进sudo用户组

# usermod -G sudo hadoop

四、安装及配置依赖的软件包

4.1 安装jdk

#  yum install java-1.8.0-openjdk* -y

# echo $JAVA_HOME

$ java -version

4.2 配置ssh免密码登录

切换到 hadoop 用户,hadoop 用户时密码为 hadoop。后续步骤都将在 hadoop 用户的环境中执行。

$ su  hadoop # 密码为hadoop

配置ssh环境免密码登录。 在/home/hadoop目录下执行

$cd ~

$ ssh-keygen -t rsa   #一路回车

$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

$ chmod 600 .ssh/authorized_keys

验证登录本机是否还需要密码,第一次需要密码以后不需要密码就可以登录。

$ sudo vi /etc/ssh/sshd_config

         ListenAddress 127.0.0.1 #添加ssh这行监听本机

$ ssh localhost #仅需输入一次hadoop密码,以后不需要输入

五、下载并安装Hadoop

在hadoop用户登录的环境中进行下列操作:

5.1 下载Hadoop 2.7.6

 

$  wget http://labfile.oss.aliyuncs.com/hadoop-2.7.6.tar.gz

5.2 解压并安装

$ tar -zxvf hadoop-2.7.6.tar.gz

$ rm -r /home/hadoop/hdfs  #删除原本目录中的hdfs文件夹

$ mv hadoop-2.7.6 /home/hadoop/hdfs

$ chmod 777 /home/hadoop/hdfs

5.3 配置Hadoop

$ vim /home/hadoop/.bashrc

在/home/hadoop/.bashrc文件末尾添加下列内容:

#HADOOP START

export HADOOP_HOME=/home/hadoop/hdfs

#export JAVA_HOME=/usr/lib/jvm/java-8-oracle

#HADOOP END

在/home/hadoop/.bashrc文件中PATH路径更改HADOOP相关内容:

export PATH=/usr/local/sbin:/usr/local/bin/:/usr/bin:/usr/sbin:/sbin:/bin:/home/hadoop/hdfs/bin:/home/hadoop/hdfs/sbin

环境中的hive以及hbase等环境本次实验不会用到可以删去,保存退出后,激活新加的环境变量。

$ source ~/.bashrc

至此,Hadoop单机模式安装完成,可以通过下述步骤的测试来验证安装是否成功。

六、测试验证

创建输入的数据,暂时采用/etc/protocols文件作为测试

$ cd /home/hadoop/hdfs

$ mkdir input

$ cp /etc/protocols ./input

执行Hadoop WordCount应用(词频统计)

$ hadoop jar /home/hadoop/hdfs/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.6-sources.jar wordcount input output

若以上语句执行错误可以尝试应用以下语句执行

$ hadoop jar /home/hadoop/hdfs/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.6-sources.jar  org.apache.hadoop.examples.WordCount input output

查看生成的单词统计数据

$ cat output/*

注意:如果要继续下一节“伪分布式部署”实验,请勿停止本实验环境,直接点击文档上方的“下一个实验”按钮进入,因为伪分布式部署模式需要在单机模式基础上进行配置。

七、小结

本实验中介绍了Hadoop单机模式的安装方法,并运行wordcount进行基本测试。

八、课后作业

请使用hadoop的wordcount对日志文件/var/log/dpkg.log进行词频统计。

九、参考文档

本实验参考下列文档内容制作:

 

以上是关于3-1.Hadoop单机模式安装的主要内容,如果未能解决你的问题,请参考以下文章

我把hadoop安装在不能上网的电脑上,请问hadoop的编译运行不联网能操作吗?大谢

Zookeeper安装使用--单机模式

Spark运行命令示例

windows安装zookeeper-单机模式

Greenplum源码编译安装(单机及集群模式)完整版

Zookeeper安装,Zookeeper单机模式安装