基于Docker搭建大数据集群基础组件配置

Posted njpkhuan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于Docker搭建大数据集群基础组件配置相关的知识,希望对你有一定的参考价值。

主要内容

  1. jdk环境搭建
  2. scala环境搭建
  3. zookeeper部署
  4. mysql部署

前提

  • docker容器之间能免密钥登录
  • yum源更换为阿里源

安装包

微云分享 | tar包目录下

  • JDK 1.8.221
  • Scala 2.12.9
  • Zookeeper 3.5.5
  • Mysql 手动安装较复杂,使用yum安装

一、安装包处理

发送文件到容器

docker cp 文件地址 容器ID:容器地址

创建解压目录

mkdir /opt/jdk
mkdir /opt/scala
mkdir /opt/zookeeper
mkdir /opt/mysql

解压文件

tar xivf tar包 -C /opt/对应目录

二、配置环境变量

编辑配置文件

root用户

vim ~/.bash_profile

非root用户只对当前用户生效

vim /home/用户名/.bash_profile

追加以下内容

JAVA_HOME=/opt/jdk/jdk1.8.0_221
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME

SCALA_HOME=/opt/scala/scala-2.12.9
PATH=$PATH:$SCALA_HOME/bin
export SCALA_HOME

ZK_HOME=/opt/zookeeper/apache-zookeeper-3.5.5-bin
PATH=$PATH:$ZK_HOME/bin
export ZK_HOME

使配置文件生效

root用户,对所有用户生效

source ~/.bash_profile

非root用户,只对当前用户生效

source /home/用户名/.bash_profile

测试Java是否安装成功

java -version

测试scala是否安装成功

scala -version

三、zookeeper部署

zookeeper新的版本-bin的使编译后的包,与之前是反的。。得注意下

新建或复制zoo.cfg

cp zoo_sample.cfg zoo.cfg

追加以下内容

server.1=172.15.0.2:2888:3888
server.2=172.15.0.3:2888:3888
server.3=172.15.0.4:2888:3888

创建myid文件

zoo.cfg中有个dataDir属性,在后面的目录下面创建一个myid文件,内容就是当前节点号

172.16.0.2 --> 1

172.16.0.3 --> 2

172.16.0.4 --> 3

启动

zkServer.sh start

四、Mysql部署

下载官方yum Repository

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

安装yum Repository

yum -y install mysql57-community-release-el7-10.noarch.rpm

安装mysql

yum -y install mysql-community-server

启动mysql

systemctl start mysqld.service

查看状态

systemctl status mysqld.service

获取默认密码

grep "password" /var/log/mysqld.log

登录

mysql -uroot -p

更改密码策略

set global validate_password_policy=0;
set global validate_password_length=1;

修改密码

ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

设置可视化客户端连接

grant all on *.* to root@'%' identified by 'root';

以上是关于基于Docker搭建大数据集群基础组件配置的主要内容,如果未能解决你的问题,请参考以下文章

基于大数据平台的毕业设计01:基于Docker的HDP集群搭建

基于Docker搭建大数据集群Hive搭建

基于Docker搭建大数据集群Docker环境部署

基于Docker搭建大数据集群Hadoop部署

基于Docker搭建大数据集群Spark部署

基于Docker搭建大数据集群Mlsql部署