Hadoop 入门

Posted 2020-11-03 箬笠蓑衣

一、Hadoop

存储、分析、调度；

 

淘宝系统

 

 

map分块存储，计算；

reduce 汇总；

 Linux 系统，jval虚拟机。主节点，子节点。

*****************************************************************************************************************************************************************************************************

Hadoop环境搭建

（参考 http://gitbook.cn/books/5954c9600326c7705af8a92a/index.html ）

一、第一部分：Linux环境安装

Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK安装等。

第一步、配置Vmware NAT网络

VMware,Inc. (Virtual Machine ware）是一个“虚拟PC”软件公司，提供服务器、桌面虚拟化的解决方案。VMware可以在个人本地一台笔记本机器上同时运行二个或更多Windows、DOS、LINUX系统。

因为没有实体机做测试，要学习hadoop搭建环境，在本地笔记本做几台linux虚拟机是个蛮不错的选择。

下载vmware的链接还有许可证密钥 http://www.zdfans.com/5928.html

安装完成如下图：

VMware虚拟机有三种网络模式，分别是Bridged(桥接模式)、NAT(网络地址转换模式)、Host-only(主机模式)。

VMware workstation安装好之后会多出两个网络连接，分别是VMware Network Adapter VMnet1和VMware Network Adapter VMnet8，这两个是可以在主机的网络连接中可以查看到的，

还有一个是VMnet0，可以在virtual network editor中看到。这三个虚拟网络都是VMware安装好之后自动生成的，不需要手动修改。其中VMnet0用于Bridged模式，VMnet1用于Host-only模式，Vmnet8用于NAT模式。

VMnet8和VMnet1提供DHCP服务，VMnet0默认则不提供。

NAT模式配置：

NAT是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。我们部署Hadoop集群，这里选择NAT模式，各个虚拟机通过NAT使用宿主机的IP来访问外网。

我们的要求是集群中的各个虚拟机有固定的IP、可以访问外网，所以进行如下设置：

 1、检查宿主机的VMware DHCP Service 和VMwareNAT Service两个服务是否启动：

Vmware安装后，搜索 “虚拟网络编辑器”，选择VM8，默认的NAT设置如下框图

2、 默认的设置是启动DHCP服务的，NAT会自动给虚拟机分配IP，但是我们需要将各个机器的IP固定下来，所以要取消这个默认设置。

3、 为机器设置一个子网网段，默认是192.168.146网段，我们这里设置为100网段，将来各个虚拟机Ip就为 192.168.100.*。

4、 点击NAT设置按钮，打开对话框，可以修改网关地址和DNS地址。这里我们为NAT指定DNS地址。

5、 网关地址为当前网段里的.2地址，好像是固定的，我们不做修改，先记住网关地址就好了，后面会用到。 

第二步、安装Linux操作系统

三、Vmware上安装Linux系统

1、 文件菜单选择新建虚拟机