centos7搭建伪分布式集群

Posted 2022-09-24 2016-zck

centos7搭建伪分布式集群

需要

　　centos7虚拟机一台；

　　jdk-linux安装包一个

　　hadoop-2.x安装包1个（推荐2.7.x）

 

一、设置虚拟机网络为静态IP（最好设成静态，为之后编程提供方便，不设置静态ip也可以）

1、进入网络配置查看ip

 

2、选择NAT模式链连接

3、点击NAT设置，记住网关IP，后面要用到

 

 

4、进入终端，输入命令： cd  /etc/sysconfig/network-scripts,然后 vim ./ifcfg-eth0,（有的虚拟机是文件是：ifcfg-ens33）并进行如下设置，

【IPADDR为静态ip地址，格式必须与网关IP的前三位一样：192.168.13.X】 X在1-255之间

GATWAY是之前记得的网关IP.

其他的如图所示。

 

 

 5、重启网络服务：service network restart

 

 

 6、网络测试：ping网关，ping外网。都能ping通表示网络正常，大功告成（前提主机联网）

成功标志如图：

 

 

 

二、配置ssh免密登录（开启集群服务时不必每次都输入密码）

　　1、命令：ssh-keygen    一路回车。遇到overwrite(覆盖写入)输入y

　　

 

 

 　　2、将生成的密钥发送到本机地址：ssh-copy-id localhost

　　

 

 

 　　3、测试是否可以免密登录。出现下图解果就OK;

　　

 

 

 三、安装java环境（jdk）

1、卸载虚拟机自带的dk;　

　　确定JDK版本

　　rpm –qa | grep jdk

　　rpm –qa | grep gcj

　　

　　切换到root用户，根据结果卸载java

　　yum -y remove java-1.8.0-openjdk-headless.x86_64

　　yum -y remove java-1.7.0-openjdk-headless.x86_64

2、测试jdk是否卸载干净 java -version

　　

 

 

3、安装jdk.

　　将jdk-linux-xxx解压到某一个文件夹（记好路径，不要有中文）

　　

　　通过pwd命令查看当前路径

　　

 

 

　　 

 

　　

 

 

4、配置环境变量

　　在root用户下，将/etc/profile的权限赋给普通用户：chown -R zck:zck /etc/profile  (zck是我的普通用户名，不然普通用户无法修改环境变量)

　　

　　

　　转到普通用户(zck)下，修改环境变量：vim /etc/profile    （注意自己的jdk路径）

　　

 

 

 　　

 

 

#java export  JAVA_HOME=/home/hadoop/app/jdk1.8.0_141 export JAVA_JRE=JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_JRE/lib export PATH=$PATH:$JAVA_HOME/bin

5、保存退出，并使/etc/profile文件生效：source  /etc/profile

 

 

 

 6、测试jdk环境：java -version

 

 

 四、安装hadoop

　　1、解压hadoop(同jdk)

　　2、配置环境变量(基本步骤与jdk一样)。

#hadoop export HADOOP_HOME=/home/zck/software/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

 

 

 3、测试(保存之后要source /etc/profile   不然环境变量修改不生效)

 

 

 五、搭建伪分布式

修改6个配置文件

进入文件目录 ../hadoop/etc/hadoop

 

 

 

1、修改core-site.xml配置文件 (建议将localhost修改为你之前设置的静态ip)

<configuration> <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value> </property> <property>         <name>hadoop.tmp.dir</name>         <value>file:/data/tmp</value> </property> <property>         <name>hadoop.proxyuser.hadoop.hosts</name>         <value>*</value> </property> <property>         <name>hadoop.proxyuser.hadoop.groups</name>         <value>*</value> </property> </configuration>

2、修改hdfs-site.xml配置文件

<configuration> <property>         <name>dfs.namenode.name.dir</name>         <value>/data/dfs/name</value>         <final>true</final> </property> <property>         <name>dfs.datanode.data.dir</name>         <value>/data/dfs/data</value>         <final>true</final> </property> <property>         <name>dfs.replication</name>         <value>1</value> </property> <property>         <name>dfs.permissions</name>         <value>false</value> </property> </configuration>

3、修改hadoop-env.sh配置文件（改成jdk位置）

 

 

 

 

4、修改mapred-site.xml.template配置文件（先重命名为mapred-site.xml）

<configuration> <property>         <name>mapreduce.frameword.name</name>         <value>yarn</value> </property> </configuration>

5、修改yarn-site.xml配置文件

<property>         <name>yarn.nodemanager.aux-servies</name>         <value>mapreduce_shuffle</value> </property> </configuration>

使修改生效，命令：sourec /etc/profile

 

6、格式化namenode

切回到hadoop目录，输入如下命令：bin/hdfs  namenode -format

 

 启动hadoop伪分布式集群：sbin/start-all.sh

 

 启动完毕输入jps查看