基于Centos7.4安装部署大数据基础软件环境

Posted lzw379764332

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于Centos7.4安装部署大数据基础软件环境相关的知识,希望对你有一定的参考价值。

目录

双网卡bond网络配置

1)关闭NetworkManager

2)查看up状态的网卡以及信息

3)配置网卡

4)配置保存好后,重启network服务

配置主机名

挂载镜像

关闭selinux

关闭防火墙

安装配置NTP

1)修改所有节点的/etc/ntp.conf

2)选择一个主节点,修改其/etc/ntp.conf

3)主节点以外,继续修改/etc/ntp.conf

4)配置NTP服务开机启动并且启动NTP

安装JAVA

配置LANG

配置时区

挂载数据盘


 

已有环境:1台或多台服务器,Centos7.4 已经最小化安装,并且已放置一份Centos7.4的系统ISO文件到服务器上

 

双网卡bond网络配置

1)关闭NetworkManager

systemctl stop NetworkManager #临时关闭
systemctl disable NetworkManager #永久关闭网络管理命令

2)查看up状态的网卡以及信息

ip addr

3)配置网卡

说明:bond0网卡配置:IP,掩码,网关是网管分配,mode策略默认设为6,根据交换机策略调整

cat /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
name=bond0
ONBOOT=yes
BOOTPROTO=static
TYPE=Bond
IPADDR=192.168.1.170
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
BONDING_MASTER=yes
BONDING_OPTS="miimon=100 mode=6"

说明:物理网卡配置:设备和名称保持不变,除以下配置的多余配置项可删除,HWADDR可替换为UUID,UUID的值保持不变。

cat /etc/sysconfig/network-scripts/ifcfg-网卡1名称
DEVICE=em1
name=em1
ONBOOT=yes
BOOTPROTO=none
TYPE=Ethernet
MASTER=bond0
SLAVE=yes
BONDING_MASTER=yes
HWADDR=00:17:fa:03:9f:64
cat /etc/sysconfig/network-scripts/ifcfg-网卡2名称
DEVICE=em2
name=em2
ONBOOT=yes
BOOTPROTO=none
TYPE=Ethernet
MASTER=bond0
SLAVE=yes
BONDING_MASTER=yes
HWADDR=02:42:02:d2:6e:80

4)配置保存好后,重启network服务

注意事项:如果是远程配置,要特别检查网卡配置项正确性,以及bond策略已经和交换机管理侧核对没有问题后再重启服务。

systemctl restart network

 

配置主机名

分别在所有节点上执行

hostnamectl set-hostname oushum1

hostnamectl set-hostname oushum2

hostnamectl set-hostname oushus1

hostnamectl set-hostname oushus2

hostnamectl set-hostname oushus3

hostnamectl set-hostname oushus4

配置/etc/hosts,在所有节点上添加

192.168.1.170 oushum1
192.168.1.171 oushum2
192.168.1.172 oushus1
192.168.1.173 oushus2
192.168.1.174 oushus3
192.168.1.175 oushus4

 

挂载镜像

在所有节点上执行

mkdir /media/cdrom # 新建光盘目录;
mount -t iso9660 -o loop /root/CentOS-7.4-x86_64-DVD-1708.iso /media/cdrom/ #挂载镜像文件
mkdir -p /etc/yum.repos.d/bk
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bk
cat /etc/yum.repos.d/Centos7-Media.repo
[centos7-media]
name=Centos_74
baseurl=file:///media/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///media/cdrom/RPM-GPG-KEY-CentOS-7

如有必要可以重建yum缓存

yum –disablerepo=* –enablerepo=centos7-media clean all #清除缓存
yum –disablerepo=* –enablerepo=centos7-media makecache #缓存本地yum源包信息

关闭selinux

在所有节点上执行

sed -i "s/^SELINUX\\=enforcing/SELINUX\\=disabled/g" /etc/selinux/config
setenforce 0

关闭防火墙

如果防火墙已经开启,需要关闭防火墙,在所有节点上执行:

systemctl stop iptables
systemctl disable iptables
systemctl stop firewalld
systemctl disable firewalld

 

安装配置NTP

yum install -y ntp

1)修改所有节点的/etc/ntp.conf

【命令】vi /etc/ntp.conf

【内容】

restrict 192.168.1.170 nomodify notrap nopeer noquery          //当前节点IP地址
restrict 192.168.1.1 mask 255.255.255.0 nomodify notrap  //集群所在网段的网关(Gateway),子网掩码(Genmask)

2)选择一个主节点,修改其/etc/ntp.conf

【命令】vi /etc/ntp.conf

【内容】在server部分添加一下部分,并注释掉server 0 ~ n

server 127.127.1.0
Fudge 127.127.1.0 stratum 10

3)主节点以外,继续修改/etc/ntp.conf

【命令】vi /etc/ntp.conf

【内容】在server部分添加如下语句,将server指向主节点。

server 192.168.1.170
Fudge 192.168.1.170 stratum 10

4)配置NTP服务开机启动并且启动NTP

在所有节点上执行

systemctl enable ntpd
systemctl start ntpd

 

安装JAVA

在所有节点上执行

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
mkdir /usr/java
ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64/ /usr/java/default

 

配置LANG

在所有节点上执行

修改/etc/locale.conf文件

LANG=”zh_CN.UTF-8”

立即生效:

source /etc/locale.conf

 

配置时区

在所有节点上执行

mv /etc/localtime /etc/localtime.bak
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

挂载数据盘

在所有节点上执行

fdisk -l  #查看可挂载的磁盘都有哪些
df -h  #查看已经挂载了哪些磁盘,如数据盘未挂载,执行挂载操作
mkdir -p /data1
mount /dev/sdb /data1

如果报错,初始化磁盘 

mkfs.ext4 /dev/sdb

 

设置开机自动mount

采用uuid的方式进行开机mount

用 blkid  获取磁盘的uuid和属性

编译/etc/fstab,添加如下配置行

UUID=*************  /data1  ext4  defaults  0  0

 

 

 

 

以上是关于基于Centos7.4安装部署大数据基础软件环境的主要内容,如果未能解决你的问题,请参考以下文章

基于Docker搭建大数据集群基础组件配置

基于hortonworks的大数据集群环境部署流水

基于hortonworks的大数据集群环境部署流水

大数据常用软件安装指南

Centos7.4下构建cacti监测体系

使用KickStart进行CentOS7.4 的自动部署安装