Hadoop学习笔记(待整理)

Posted lerio

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop学习笔记(待整理)相关的知识,希望对你有一定的参考价值。

安装步骤:
1、安装虚拟机系统,并进行准备工作(可安装一个然后克隆)
2.修改各个虚拟机的hostname和host
3.创建用户组和用户
4、配置虚拟机网络,使虚拟机系统之间以及和host主机之间可以通过相互ping通。
5.安装jdk和配置环境变量,检查是否配置成功
6、配置ssh,实现节点间的无密码登录 ssh node1/2指令验证时候成功
7、master配置hadoop,并将hadoop文件传输到node节点 
8、配置环境变量,并启动hadoop,检查是否安装成功,执行wordcount检查是否成功。
#环境变量配置
export HADOOP_HOME=/opt/hadoop/ export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#SSL免登录配置

#安装SSL
yum -y install openssh-server  
ps -e | grep ssh  
ssh localhost 

#生成密钥对
ssh-keygen -t rsa

#在master上,导入authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#进入master的.ssh目录,执行复制操作
scp authorized_keys [email protected]:~/.ssh/
scp authorized_keys [email protected]:~/.ssh/

#修改各台主机上authorized_keys文件的权限  所有机器上,均执行命令
chmod 600 .ssh/authorized_keys
ssh node1(node2)

 


以上是关于Hadoop学习笔记(待整理)的主要内容,如果未能解决你的问题,请参考以下文章

[moka学习笔记]yii2.0数据库查询的多种方法(未完待整理)

IOS开发-OC学习-常用功能代码片段整理

第一章:学习笔记说明!

今日笔记 待整理

面向接口编程 学习 待整理

临时笔记----待整理