大数据中Linux集群搭建与配置

Posted 疯狂打码

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据中Linux集群搭建与配置相关的知识,希望对你有一定的参考价值。

因测试需要,一共安装4台linux系统,在windows上用vm搭建。

对应4个IP为192.168.1.60、61、62、63,这里记录其中一台的搭建过程,其余的可以直接复制虚拟机,并修改相关配置即可。

软件版本选择:

虚拟机:VMware Workstation 12 Pro   版本:12.5.9 build-7535481

Linux:CentOS-7-x86_64-DVD-1804

FTP工具:FileZilla-3.37.4

安装CentOS虚拟机

首先安装虚拟机,成功后重启电脑

新建虚拟机, 配置直接用推荐的经典

选择CentOS的ios光盘映像

剩下用默认设置,20G硬盘,1G内存,1核CPU

等待加载虚拟机,安装Linxu

语言选择中文

1

系统安装位置需要进入一次,可以自己分区,不过这里是测试,默认一个区,点击完成

image

打开自动获取IP

image

可以在软件选择中指定默认要安装的内容,不过这里因测试,且知道具体安装了什么软件,我这里选择最小安装

设置root账号的密码,输入完毕点击两次完成键,完成配置开始安装,安装完毕重置

image

配置Linux环境

image

输入用户名root,输入密码,登录系统

vm上右键虚拟机,设置,修改网络适配器从NAT模式改为桥接模式

安装网络工具,用于配置IP,若报错无法访问,可能是windows服务没启动,启用VMware DHCP Service,VMware NAT Service两个服务

yum install net-tools -y

配置静态IP,最后ens33根据各自具体网卡名字来设置

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

按i切换到INSERT模式,修改配置文件如下,将BOOTPROTO的值从dhcp改为static,并且增加ip配置,修改完毕按esc,输入:wq保存退出

image

启用配置,重启网络服务

systemctl restart network

关闭selinux,打开selinux配置文件

vi /etc/selinux/config

修改SELINUX的值为disabled

image

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

安装vsftp用于上传各种文件

yum install vsftpd –y

启用ftp并添加ftp用户

systemctl enable vsftpd
systemctl start vsftpd
useradd ftpuser -s /sbin/nologin
passwd ftpuser

用FileZilla连接,使用普通FTP连接,输入刚创建的ftp用户名密码

image

配置ssh免密登录

ssh-keygen -t rsa -P ""
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 0600 authorized_keys
ssh localhost #首次需输入yes,退出登录logout
logout

至此Linux基础环境搭建完毕。

以上是关于大数据中Linux集群搭建与配置的主要内容,如果未能解决你的问题,请参考以下文章

大数据常用软件安装指南

小型大数据平台搭建

大数据系列——Hadoop集群完全分布式坏境搭建

大数据学习

大数据期末作业: Kali Linux 之Zookeeper集群 的搭建(超详细,适合纯小白)

“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题