Hadoop环境准备

Posted zhichun

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop环境准备相关的知识,希望对你有一定的参考价值。

 

Hadoop安装主要步骤:

(1)安装运行环境

(2)修改主机名和用户名

(3)配置静态IP地址

(4)配置SSH无密码连接

(5)安装JDK

  (6)  配置Hadoop

  (7)  格式化 hdfs

  (8) 启动hadoop并验证安装

 

下面详细解释

 (1)安装运行环境,本文采用的是ubuntu镜像文件,大小在1.95G.下载链接为:

 https://ubuntu.com/download/desktop/thank-you?country=CN&version=18.04.3&architecture=amd64

 

 

技术图片

 

  虚拟机为Vmware,下载地址为:

 

 

https://www.virtualbox.org/wiki/Downloads

 

技术图片

 

配置过程中,电脑的内存最好大于1G, 2G-4G为佳,如果低于一定数值,就会面临图形界面加载不出来的状况。

其次,磁盘分配空间大于20G。

本人分配内存2G, 磁盘64G,其它配置根据需求调整,本人全部默认。

网络配置的三种模式:(NAT是默认选择)

 

技术图片

 

 

(2)修改主机名和用户名

 

在本机中,不建议直接使用管理员用户,因此我们另外创建一个独立的hadoop用户。

在terminal端口中依次执行如下命令:

首次设置权限参考我的另外一篇博文《linux ubuntu 18首次使用root权限:

 

打开root    

su

创建用户"hadoop":

useradd hadoop

设置密码:

passwd hadoop

我的密码设置为:123456

 

技术图片

 

 

 

接下来开始正式修改主机名,修改主机名分为两种情况,一种是临时性修改(重启会消失),另外一种是永久性修改

  

a.暂时性的

  hostname <主机名>

  hostname hadoop

 技术图片

 

 

 

b.永久性的(centos系统配置)

  vim /etc/sysconfig/network

  服务器重启

 

注:由于操作系统的不同,比如ubuntu下并无/etc/sysconfig路径,

查看我的另外一篇博客《》

 

 

/etc/network/interfaces

 

 

 

 

 

 

 

 

 https://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

 

 

 

 

 

 

 

 

 

 

1.设置静态IP

  a.图形化界面

  b.命令行进行配置

  vim /etc/sysconfig/network-scripts/ifcfg-eth0

  service network restart

 

2.设置主机名

  a.暂时性的

  hostname <主机名>

  b.永久性的

  vim /etc/sysconfig/network

  服务器重启

  

3.设置主机名与静态IP之间映射关系

  vim /etc/hosts

  IP地址 <主机名>

 

以上是关于Hadoop环境准备的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop中HDFS的API操作客户端环境准备配置HADOOP_HOME环境变量

Hadoop之HDFS(客户端操作) 1.环境准备

Hadoop集群搭建之环境准备

YARN && Hadoop 集群环境准备

Hadoop 环境准备

Hadoop--1.环境准备