基于Docker搭建大数据集群Mlsql部署

Posted 2020-11-15 njpkhuan

主要内容

• mlsql部署

前提

• zookeeper正常使用
• spark正常使用
• hadoop正常使用

安装包

微云下载 | tar包目录下

• mlsql-cluster-2.4_2.11-1.4.0.tar.gz
• mlsql-console-1.4.0.tar.gz
• mlsql-engine_2.4-1.4.0.tar.gz

一、环境准备

上传到docker镜像

docker cp mlsql-cluster-2.4_2.11-1.4.0.tar.gz cluster-master:/root/tar
docker cp mlsql-console-1.4.0.tar.gz cluster-master:/root/tar
docker cp mlsql-engine_2.4-1.4.0.tar.gz cluster-master:/root/tar

解压

tar xivf mlsql-cluster-2.4_2.11-1.4.0.tar.gz -C /opt/mlsql
tar xivf mlsql-console-1.4.0.tar.gz -C /opt/mlsql
tar xivf mlsql-engine_2.4-1.4.0.tar.gz -C /opt/mlsql

二、启动和配置 MLSQL Engine

默认9003端口，可手动修改

启用yarn

--master local[*]

替换成

--master yarn-client

授权

chmod 777 start-default.sh

二、启动和配置 MLSQL Cluster

默认8080端口，可自己手动修改

1. 在mysql中新建数据库mlsql_cluster
2. 将根目录下db.sql导入
3. 修改application.docker.yml,将"MYSQL_HOST" 占位符替换成MySQL地址，同时如果有必要，修改对应的数据库，用户名称，密码等
4. start-default.sh 启动

三、启动和配置 MLSQL Console

默认9002端口，可自己手动修改

1. 在mysql中新建数据库mlsql_console
2. 将根目录下的db.sql导入
3. 修改application.docker.yml,将"MYSQL_HOST" 占位符替换成MySQL地址，同时如果有必要，修改对应的数据库，用户名称，密码等。
4. 现在可以调用./start-default.sh 启动了

访问