Hadoop2.0 集群环境的搭建

Posted 2022-07-13 梅月初七

#1 Linux 操作系统的设置
1.1 设置服务器的 HOSTNAME
vi /etc/sysconfig/network
1.2 配置网卡参数
vi /etc/sysconfig/network-scripts/ifcfg-eth0
还要重启网卡
1.3 设置 host 映射文件
vi /etc/hosts
1.4 关闭防火墙
service iptables stop
chkconfig iptables off
1.5 关闭 SELINUX
vi /etc/selinux/config
1.6 修改 SSH 配置文件

1.7 创建 hadoop 用户组及用户
1.8 创建 hadoop 安装目录
#2 JDK1.7 的安装及设置
tar -xvf jdk-…
#3 Hadoop 集群配置 SSH
#4 Hadoop 集群的安装与配置
4.1 预先准备工作
4.2 修改 YARN 配置文件
4.2.1 core-site.xml
4.2.2 hadoop-env.sh
4.2.3 hdfs-site.xml
4.2.4 yarn-env.sh
4.2.5 yarn-site.xml
4.2.6 mapred-site.xml
4.2.7 slave
4.3 向各节点分发 Hadoop 程序
#5 启动 Hadoop 及验证
5.1 格式化 NameNode 节点
5.2 启动 HDFS 文件系统
5.3 启动 YARN
#6 Hadoop 集群的基准测试
6.1 wordcount
6.2 计算圆周率