Hadoop单机安装

Posted 2020-10-03 coshaho

环境：ubuntu kylin 15.10，hadoop 2.8.1，jdk 8

1、新建用户cauchy

sudo adduser cauchy

2、hosts中添加hadoop映射

vi /etc/hosts

注：使用cauchy用户执行ifconfig命令查看ip地址发现没有权限，执行如下命令解决

vi ~/.bashrc

最后添加export PATH="$PATH:/sbin"

source ~/.bashrc

3、使用cauchy用户安装SSH

su - cauchy
sudo apt-get install openssh-server

报错：没有sudo权限。需要先给cauchy添加sudo权限

su - root

vi /etc/sudoers

添加cauchy ALL=(ALL:ALL) ALL

4、cauchy用户设置ssh免密

cd ~/.ssh/
ssh-keygen -t rsa
一直回车
cat ./id_rsa.pub >> ./authorized_keys
ssh hadoop

此时还是需要输入密码，才能连接

5、修改authorized_keys以及用户目录cauchy权限

chmod 600 authorized_keys
chmod 710 /home/cauhcy
ssh hadoop

值得注意的是：

cauchy目录权限为777，authorized_keys权限为777，免密登陆失败

cauchy目录权限为777，authorized_keys权限为600，免密登陆失败

cauchy目录权限为710，authorized_keys权限为600，免密登陆成功

7、下载jdk，hadoop解压，并设置jdk，hadoop环境变量

软件目录

环境变量~/.bashrc

执行java -version成功，执行hadoop失败：Error: JAVA_HOME is not set and could not be found.

说明需要export JAVA_HOME。（同时在PATH中增加了$HADOOP_HOME/sbin）

此时执行hadoop成功。

 8、测试

在/home/cauchy/software目录下新建一个测试文本word.txt

Hello, hadoop, I\'m comming.
I love you.

执行命令

hadoop jar ~/software/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount ~/software/word.txt ~/software/result

可以看到生成了结果文件夹~/software/result