hadoop-3.0.0-beta1运维手册（003）：安装全分布式HDFS3.0.0-准备软件

Posted 2020-10-16

3.1 准备软件

HDFS是Hadoop的一个组件，它并没有单独发布，因此，我们需要下载Hadoop的安装包。

1. 下载Hadoop3.0.0-beta1，保存到d:\hdfs3\soft

3-1 Hadoop存储路径图

有关beta1版本的介绍：它是API稳定的版本，但不保证质量，并且不打算用于生产环境。因此，此版本可以用来提前学习，待stable版本出来后，可以直接替换上生产环境。

 

 2. 下载JDK

Hadoop是用java编写的，JDK提供了java程序的运行环境，因此，需要下载JDK。

Hadoop3.0版本要求JDK1.8以上，不兼容JDK1.7以及之前的版本。

JDK1.8有32bit和64bit两种，那么我们应该选哪一个版本呢？

Java程序本身不区分32bit和64bit，因为它面对的是一个统一的JVM；JDK则区分32bit和64bit，JDK 32bit表示它运行在32位机器上，JDK 64bit则表示它运行在64位的机器上。

我们安装的Centos7是64位的，因此，要选择64bit的JDK。

下载jdk-8u152-linux-x64.tar.gz

同样保存到d:\hdfs3\soft

3.2 配置Centos网络

我们下载的Hadoop3.0.0和JDK1.8保存在Host(Win7)上，需要通过网络上传到Guest（Centos7）。因此，需要配置Guest上的网络，使得Host和Guest能够联通。

Host和Guest之间的网络连接如下图所示：

 

 

3-2 Vmware workstation host-only虚拟网络连接图

1. Host和Guest之间是通过Host-only虚拟网络连接的。

注意：Host和Guest之间有3种类型的虚拟网络可以连接，分别是Bridged、NAT和Host-only。其中Bridge可以使得Guest能够被Host所连接的网络上的机器所访问，但它需要Host真正连接到了一个物理网络；NAT可以共享Host的外部IP上互联网；Host-only是Guest和Host之间的一个私有网络，它不要求Host真正连接到一个物理网络，因此，最方便。有关这三种网络的原理和使用，请参考艾叔的高清视频《VMware Workstation虚拟机实战入门》，视频中有详细的说明。

2. Host连接到虚拟网络的网卡名字是VMNet1。这是如何知道的呢？我们可以打开VMware workstation的Virtual Network Editor，如下图。

 

3-3 Vmware workstation 虚拟网络编辑器

然后，我们可以看到虚拟网络的信息，我们看到的VMnet0对应Bridged虚拟网络，VMnet1对应Host-only虚拟网络；VMnet8对应NAT虚拟网络。

选中VMnet1，向下红色的部分，我们可以看到“Host virtual adapter name: VMware Network Adapter VMnet1”，这个就是Host-only虚拟网络中，Host主机的虚拟网卡名。如果我们选中VMnet0，则可以看到Bridged虚拟网络中，Host主机的虚拟网卡名为VMnet0。

3-4 Vmware workstation host-only虚拟网络配置界面

3. VMnet1的IP地址是192.168.182.1。这个是如何知道的呢？

首先，我们看VMnet1虚拟网络子网地址是：192.168.182.0。VMnet1网卡具体的IP地址，要到Windows的网络连接里去看。

打开Windows的网络连接，找到网卡VMnet1，如下。

3-5 Vmware workstation host虚拟网卡

查看IP地址，可以看到是192.168.182.1。

3-6 Vmware workstation host-only虚拟网络连接图

验证，在CMD中ping 192.168.182.1。

注意：这一步非常重要！！！

3-7 Vmware workstation host ping自己

注意：如果Ping不通的话，Guest关机，然后尝试恢复虚拟机网络的默认值，如下，点击Restore Default。

恢复需要等待一段时间，然后Host-only的子网地址会改变，VMnet1的IP同样会改变。因此，需要再次查看VMnet1的IP，然后ping这个新的IP。

3-8 Vmware workstation 恢复默认网络设置图

4. 我们要检查Guest是否选择了Host-only网络

首先，确认下面的Device status的复选框都选中；

其次，Network connection下面的单选框要选中：Host-only，如下红线所示。

3-9 Vmware workstation 网络设备状态图

5. 查看Guest上的网络的网卡和IP

Guest登录

输入命令：ip a

将显示Guest上的网卡和IP信息，我们可以看到Guest上有一块网卡，名字为ens33，它的Mac地址为：00:0C:29:77:B8:70，IP地址由于没有设置，因此，在mac地址下面没有显示。

3-10 CentOS网络设备查看图

6. 设置IP

使用文本编辑器vi（有关Linux命令，vi的使用，请参考高清视频《艾叔：Linux入门-零基础会用Linux》，精选了Linux下使用最频繁的命令进行讲解，用最短的时间掌握最有用的操作。）打开网卡的配置文件。

3-11 vi编辑网卡配置文件

内容如下

3-12 CentOS网卡配置图

按下i，应该可以看到左下角出现INSERT

3-13 vi插入状态图

编辑下面红色的部分

3-14 新的CentOS网卡配置图

按下ESC，应该可以看到左下角的INSERT消失

输入引号:，左下角应该出现一个引号

3-15 vi末行状态

输入wq

3-16 vi保存退出

回车，此时保存文件并退出

关闭网卡

3-17 CentOS关闭网络

启动网卡，将加载我们刚才的配置

 

3-18 CentOS开启网络

验证，可以看到网卡ens33的IP已经设置

3-19 CentOS查看网络

重启，看配置是否仍然生效

 

3-20 CentOS重启

重启登录，查看IP地址，可以看到192.168.182.11，说明配置已经生效

 

3-21 CentOS查看IP地址

验证Guest和Host是否联通

从Host去Ping Guest，看是否能够Ping通，如下所示，是可以Ping通的。

3-22 Host ping Guest

3.3 上传软件到Centos

1. 创建普通用户

在上传软件之前，我们要在Centos上创建一个普通用户，在Linux下，我们要尽可能地在普通用户下工作，这是一个好习惯。

使用下面的命令创建一个普通用户，用户名为user，并且为该用户?????????建它的home目录。

3-23 创建普通用户及其home目录

设置user用户的密码，为简单起见，我们密码同样设置为123456。

注意，设置密码的命令为：passwd user

在下面的横线处，输入123456，注意123456不会有回显。

3-24 设置普通用户密码

如果我们可以看到sucessfully，则说明设置成功。

切换到user，切换过去后，我们可以看到#变成了$，$表示当前用户为普通用户。

3-25 切换到普通用户

打印当前工作路径，是/home/user，这个是user的home目录，后续我们将软件上传到此目录下。

3-26 显示当前工作路径

2. 确认sshd服务

通过sshd服务，我们可以软件从Host上传到Guest，下面的命令将确认Centos上是否开启了sshd服务，如果可以看到红圈内的22，则说明服务已经开启。

 

3-27 显示当前端口

3. 下载WinSCP

WinSCP是一个Windows（Host）下的软件，它与Guest上的sshd交互，可以完成文件的传输。

下载后，直接解压即可，无需安装。

3-28 解压目录

点击WinSCP

在右侧文件协议中选择SCP

主机名：192.168.182.11

端口号：22

用户名：user，密码：123456

点击登录

 

3-29 winscp连接配置界面

在弹出的对话框中选择Y

 

3-30 winscp连接对话框

登录，界面如下，左侧为Host主机的目录，右侧为Guest主机的目录

3-31 winscp传输界面

右侧Guest目录为/home/user

在左侧找到我们要上传的文件，然后将其拖拽到右侧，如下，注意红线所指的路径是/home/user。

 

3-32 winscp本地存储路径

上一篇：《hadoop-3.0.0-beta1运维手册（002）：安装Guest操作系统》

原创文章，转载请注明： 转载自大数据学习网，作者：艾叔

本文链接地址: http://www.bigdatastudy.net/show.aspx?id=435&cid=8