Hadoop安装与配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop安装与配置相关的知识,希望对你有一定的参考价值。

其实就是作业来的而已

技术分享

1、解压jdk

技术分享
2、配置jdk环境

技术分享
普通用户权限输入gedit ~/.bashrc

在第一行回车输入jdk目录,因为到后面hadoop安装配置时出现找不到jdk

技术分享
超级管理员权限输入gedit ~/.bashrc 在文档最下方配置路径

技术分享
最后保存退出,终端输入source ~/.bashrc 执行

sudoupdate-alternatives --install /usr jdk1.8.0_60/bin/java java/usr/jdk/jdk1.8.0_60/bin/java 300  

sudoupdate-alternatives --install /usr/ jdk1.8.0_60/bin/javac javac/usr//jdk1.8.0_60/bin/javac 300  

安装ssh

技术分享
技术分享

ssh密码为zjh

生成ssh密钥,下次直接使用ssh localhost不用输入密码

技术分享
解压hadoop

技术分享

技术分享

技术分享

配置文件出错,出现错误信息,来源hdfs-site.xml文件中value标签

技术分享
启动服务

技术分享
检测服务是否启动

技术分享
见到这个页面是多让人开心

技术分享

实验结果或结论

1、在实验的过程中因为版本的不一样,看着文档的内容来进行并不能成功,必须要查找各种各样的资料才能配置好,特别是jdk的配置,1.6 1.7 1.8的配置有些小小的出入

Jdk 1.8 要进行软连接

sudoupdate-alternatives --install /usr jdk1.8.0_60/bin/java java/usr/jdk/jdk1.8.0_60/bin/java 300  

sudoupdate-alternatives --install /usr/ jdk1.8.0_60/bin/javac javac/usr//jdk1.8.0_60/bin/javac 300  

2、在安装时假如只是一味的跟着步骤去进行安装的话就没有实验的意义了,因为这样根本都不能学到什么

3、最后在配置hadoop的时候因为一些小小的疏忽就出现错误了,好在还有错误信息

4、最后直接使用./sbin/start-all.sh就可以把关联的服务开启

5、开启时出现以下错误信息(信息忘记截图了,网上找相同的信息)

[email protected]:/usr/hadoop-1.1.2/bin$ start-all.sh 
mkdir: cannot create directory `/usr/hadoop-1.1.2/libexec/../logs‘: Permission denied  
chown: cannot access `/usr/hadoop-1.1.2/libexec/../logs‘: No such file or directory

starting namenode, logging to /usr/hadoop-1.1.2/libexec/../logs/hadoop-hm-namenode-hm-ubuntu.out
/usr/hadoop-1.1.2/bin/hadoop-daemon.sh: line 136: /usr/hadoop-1.1.2/libexec/../logs/hadoop-hm-namenode-hm-ubuntu.out: No such file or directory
head: cannot open `/usr/hadoop-1.1.2/libexec/../logs/hadoop-hm-namenode-hm-ubuntu.out‘ for reading: No such file or directory
[email protected]‘s password: 

表示该用户没有权限对该目录进行操作

执行 chown 命令为当前用户赋予对目录可写的权限 

sudochown-hRhmhadoop-1.1.2

6、在网页中输入localhost:8088进入hadoop管理

 

以上是关于Hadoop安装与配置的主要内容,如果未能解决你的问题,请参考以下文章

如何在Linux上安装与配置Hadoop-IT168 技术开发专区

学习笔记Hadoop—— Hadoop集群的安装与部署—— 配置Hadoop集群

如何在Linux上安装与配置Hadoop-IT168 技术开发专区

Hadoop 之 Hive 安装与配置

Hadoop安装与配置详细教程

Hadoop那些事儿---Hive安装与配置