单机模式

Posted 2021-11-24 jztx123

虚拟机准备

• 更新虚拟机，能够减少很多问题，以ubuntu为例

$ sudo apt-get update
$ sudo apt-get upgrade

• 创建hadoop用户，并加入管理员组，防止权限问题

$ sudo useradd hadoop
$ sudo passwd hadoop    # 两次输入新密码，比如hadoop
$ sudo adduser hadoop sudo # 加入管理员组

登录hadoop用户

安装SSH

$ ssh localhost # 产生一个~/.ssh/的文件夹
yes
$ exit
$ cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
$ ssh-keygen -t rsa              # 会有提示，都按回车就可以
$ cat id_rsa.pub >> authorized_keys  # 加入授权

安装JDK8

• 准备软件安装目录，以/opt/module/为例

$ cd /opt/  # 切换到opt目录
$ sudo mkdir module # 创建一个module目录，用于存放软件
$ sudo chown -R hadoop:hadoop ./module # 把module文件夹的所有权交给hadoop用户

• 下载jdk的压缩包，假设下载的路径是/home/hadoop

$ cd ~  # 切换到用户目录
$ tar -zxvf jdk-8u201-linux-x64.tar.gz -C ~ # 解压到当前目录
$ ls    # 会看到多了个jdk解压后的目录:jdk1.8.0_201
$ mv jdk1.8.0_201 jdk   # 重命名,方便使用
$ cd jdk/   # 此时应该看到,bin、include...等文件，则证明解压成功。
$ mv jdk/ /opt/module   # 移动jdk到指定目录下

• 配置环境变量

$ sudo vim /etc/profile # 没有vim编辑器的话,vi也可以
## 编辑文件，环境变量如下
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin

• 配置生效

$ source /etc/profile 
$ java -version # 验证一下，不能的话就重启

下载CDH Hadoop

• 地址：http://archive.cloudera.com/cdh5/cdh/5/

• 版本：hadoop-2.6.0-cdh5.15.1.tar.gz （注意版本号）

• 区别：CDH系列软件版本号有区别于原始Hadoop生态圈，不要觉得版本老，实际不一样！

• 系列：安装了cdh5.15.1的hadoop,以后安装hive,hbase等,版本号也要相同

• 同理，把hadoop解压到/opt/module目录里

• 环境变量如下

$ sudo vim /etc/profile
## 新增内容如下：
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
## #########
$ hadoop version    # 验证，如同java -version，注意没有-

Grep案例

此时是单机/本地模式，不需要启动Hadoop

$ cd /opt/module/hadoop
$ ls # 确保不存在input,output文件夹

$ mkdir input # module目录所有者属于hadoop,不需sudo
# 将Hadoop的xml配置文件复制到input
$ cp etc/hadoop/*.xml input

# 执行share目录下的MapReduce程序
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar  grep input output 'dfs[a-z.]+'
# 查看输出结果
$ cat output/*
1   dfsadmin

WordCount案例

$ mkdir wcinput # 用于存放需要单词统计的文件
$ cd wcinput/
$ touch wc.input
$ vim wc.input
hadoop yarn # 随便写入一些单词
hadoop mapreduce
spark scala
spark hadoop

$ cd ../
$ pwd
/opt/module/hadoop

$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar     wordcount wcinput wcoutput
$ cat wcoutput/part-r-00000
hadoop 3
mapreduce 1
scala 1
spark 2
yarn 1