怎么在一台虚拟机上部署hadoop

Posted 2023-04-13

参考技术A 设置虚拟机和本机上的ip

2
可以清楚的看到多出现了两个网卡选项，这里我们使用VMware Network Adapter VMnet1 就行了，然后将其与的一个禁用。启用第一个之后，就要去给这个设置ip地址了，那么这个ip地址应该设置为多少呢？这个可以根据你自己的喜好自己去设置就好了，只要是在有效的网关之内都行
下面是我设置的ip地址

这样设置好了本机的ip地址之后呢，就应该去设置虚拟机的ip地址了，首先要保证虚拟机被本机的通讯方式为host-only模式，即，仅主机模式、
打开VmWare之后呢，去这里设置仅主机模式

-------------------------------------------------------
这里要注意一点，首先一个是虚拟机的ip地址为192.168.80.100和一个是我们自己电脑的上设置的Vmvare Network Adapter Vmnet1的ip地址为192.3168.80.1。设置好了之后打开虚拟机的小黑屏。

END
liniux系统配置
1

2
然后选择第四项打开小黑屏。
打开小黑屏之后一定要记得让网卡重新启动一下，执行命令
Service network restart 来重启网卡

END
修改主机名
1
下一步，修改主机名，为什么要修改linux虚拟机的主机名呢？主要还是方便以后我们访问。
现在我们可以在本机上面使用PieTTY这个工具来连接我们的虚拟机了，这样我们就不用去虚拟机的小黑屏下面操作了，太方便了。

2
然后进进入了network这个文件的更改操作中去了
Vi进入该文件之后默认是不可修改的，只可以看，不可以修改，那么按下键盘上面的i字母，就变成可以修改的状态了

3
然后添加一行，HOSTNAME=hadoop，然后点击键盘右上角Esc键，然后在英文输入法下面输入

4
接着输入：wq 然后回车，保存修改。这样，就永远的把主机名给改成hadoop了，使用hostname来验证主机名

END
主机名和ip地址进行绑定
1
首先为什么要让ip地址和主机名来进行绑定呢，狠简单，每一台电脑在网络中的唯一标识就是本电脑的ip地址，首先可以确定ip地址是永远不会重复的，那么我们每次访问的百度首页其实就是在访问百度主机的ip地址，如果你知道百度主机的ip地址，直接在网址栏里输入ip地址，一样的会访问百度的首页。
既然如此，我们以后直接用ip来访问网页就好了，干嘛还要用www.baidu.com呢？首先，用ip来访问也太麻烦了，并且也不便于记忆，所以我们将我们的主机名跟我们的ip地址绑定到一起，以后直接访问我们的主机名就是相当于访问我们的ip地址了。
然后来进行主机名和ip地址进行绑定的操作吧。
还是

2
关闭虚拟机的防火墙

直接执行service iptables stop命令来关闭防火墙

3
到这一步，hadoop设置已完毕，下一篇，将会详细介绍如何设置hadoop源码。。。敬请期待如何搭建hadoop分布式环境，怎样快速搭建<二>

在CentOS上部署单机版Hadoop

本文记录如何在一台CentOS上部署单机版Hadoop。CentOS安装在Azure上。

安装CentOS

在Azure上新建一台虚拟机，选择操作系统CentOS6.8。记住主机名，比如centosforhd。主机名在后面设置中会用到。

安装好之后，用Putty工具登录到CentOS上。登录之后请转为root用户来操作下面的安装。（命令： sudo su）

安装Java

1 下载JDK 

从Java官网下载最新的JDK。如果是在windows下下载，下载之后可以通过SSH Secure File Transfer Client工具拷贝到CentOS上。把下载好的JDK文件（jdk-8u131-linux-x64.tar.gz）放到 ~/java/文件夹下（临时存放）。

2 解压

在目录 /usr/lib/jvm 下解压JDK压缩文件： tar -zxvf ~/java/jdk-8u131-linux-x64.tar.gz

解压之后，通过ls命令可以看到目录 /usr/lib/jvm 下多了个目录 jdk1.8.0_131 。

3 设置环境变量

编辑 /etc/profile 设置环境变量。 vim /etc/profile

在文件末尾添加下面几行：

export JAVA_HOME=/usr/lib/jvm/java8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:$JAVA_HOME/bin

 

然后运行命令让改动立刻生效： source /etc/profile

4 确认安装成功

运行命令 java -version，看是返回java版本号。

安装Hadoop

1 下载Hadoop Binary 

到Hadoop官网（http://hadoop.apache.org/）下载Hadoop binary。在CentOS下用命令wget http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 下载到 ~/hadoop/ 目录下。

2 解压

把tar.gz解压缩到目录 /usr/bin/hadoop/ 下。在目录 /usr/bin/hadoop/ 下运行命令 tar -zxvf ~/hadoop/hadoop-2.8.0.tar.gz

解压之后，通过ls命令可以看到目录 /usr/lib/hadoop/ 下多了个目录 hadoop-2.8.0 。

3 设置环境变量

编辑 /etc/profile 设置环境变量。 vim /etc/profile

在文件末尾添加下面几行：

export HADOOP_HOME=/usr/lib/hadoop/hadoop-2.8.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后运行命令让改动立刻生效： source /etc/profile

4 配置ssh无密码登录

运行命令 ssh-keygen -t rsa 。

导入公钥，把id_rsa.pub追加到授权的key文件中： cat .ssh/id_rsa.pub >> .ssh/authorized_keys

5 更改设置文件

5.1 配置core-site.xml

vim /usr/lib/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://centosforhd:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/lib/hadoop/hadoop-2.8.0/tmp</value>
</property>
</configuration>

注意上面红色部分，请替换成主机的名字。

5.2 配置hdfs-site.xml

vim /usr/lib/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

5.3 配置mapred-site.xml

先将mapred-site.xml.temporary 重命名为 mapred-site.xml ：mv /usr/lib/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.temporary /usr/lib/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml

再编辑： vim /usr/lib/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5.4 配置yarn-site.xml

vim /usr/lib/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centosforhd</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

6 格式化hdfs

在hadoop安装目录下（/usr/lib/hadoop/hadoop-2.8.0）下运行： ./bin/hdfs namenode -format

7 启动服务

在hadoop安装目录下（/usr/lib/hadoop/hadoop-2.8.0）下运行：./bin/start-all.sh

8 确认运行

输入命令 jps 查看java进程，看是否有 DataNode, SecondaryNameNode, NameNode。