Hadoop环境准备
Posted zhichun
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop环境准备相关的知识,希望对你有一定的参考价值。
Hadoop安装主要步骤:
(1)安装运行环境
(2)修改主机名和用户名
(3)配置静态IP地址
(4)配置SSH无密码连接
(5)安装JDK
(6) 配置Hadoop
(7) 格式化 hdfs
(8) 启动hadoop并验证安装
下面详细解释
(1)安装运行环境,本文采用的是ubuntu镜像文件,大小在1.95G.下载链接为:
https://ubuntu.com/download/desktop/thank-you?country=CN&version=18.04.3&architecture=amd64
虚拟机为Vmware,下载地址为:
https://www.virtualbox.org/wiki/Downloads
配置过程中,电脑的内存最好大于1G, 2G-4G为佳,如果低于一定数值,就会面临图形界面加载不出来的状况。
其次,磁盘分配空间大于20G。
本人分配内存2G, 磁盘64G,其它配置根据需求调整,本人全部默认。
网络配置的三种模式:(NAT是默认选择)
(2)修改主机名和用户名
在本机中,不建议直接使用管理员用户,因此我们另外创建一个独立的hadoop用户。
在terminal端口中依次执行如下命令:
首次设置权限参考我的另外一篇博文《linux ubuntu 18首次使用root权限》:
打开root
su
创建用户"hadoop":
useradd hadoop
设置密码:
passwd hadoop
我的密码设置为:123456
接下来开始正式修改主机名,修改主机名分为两种情况,一种是临时性修改(重启会消失),另外一种是永久性修改
a.暂时性的
hostname <主机名>
hostname hadoop
b.永久性的(centos系统配置)
vim /etc/sysconfig/network
服务器重启
注:由于操作系统的不同,比如ubuntu下并无/etc/sysconfig路径,
查看我的另外一篇博客《》
/etc/network/interfaces
https://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
1.设置静态IP
a.图形化界面
b.命令行进行配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
service network restart
2.设置主机名
a.暂时性的
hostname <主机名>
b.永久性的
vim /etc/sysconfig/network
服务器重启
3.设置主机名与静态IP之间映射关系
vim /etc/hosts
IP地址 <主机名>
以上是关于Hadoop环境准备的主要内容,如果未能解决你的问题,请参考以下文章