Doris集群部署

Posted 2023-01-15

使用最新的 1.1.4 版本 Doris 进行部署

  云服务器环境： 三台服务器 hybrid01、hybrid02、hybrid03，Centos7.9，2C4G，40G 硬盘

  资源规划

hybrid01：FE(Leader)、BE、Broker

hybrid02：FE(Follower)、BE、Broker

hybrid03：FE(Follower/Observer)、BE、Broker

一、源码编译

使用安装包安装可以跳过，源码编译使用官方推荐的 Docker 方式进行编译

官方文档：​​https://doris.apache.org/zh-CN/docs/install/source-install/compilation​​

#下载 Docker 镜像

docker pull apache/doris:build-env-ldb-toolchain-latest

#挂载宿主机运行（目录改成自己实际存放的位置）

docker run -it -v /acware/main/docker/doris/.m2:/root/.m2 -v /acware/main/docker/doris/doris-DORIS-1.1.4-release/:/root/doris-DORIS-1.1.4-release/ apache/doris:build-env-ldb-toolchain-latest

#运行完上面这条命令之后会直接进入容器内，以下命令是在容器内执行的，

#如果没有进入容器内，可以使用 docker ps -a 查看容器 ID，docker attach ID 进入容器

#下载源码包

wget --no-check-certificate ​​https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.1/1.1.4-rc01/apache-doris-1.1.4-src.tar.gz​​

#解压源码包

tar -zxvf apache-doris-1.1.4-src.tar.gz

#编译之前需要确定使用的 jdk 版本，默认是 jdk 11，以后用到的是 8 版本，所以要改版本

alternatives --set java java-1.8.0-openjdk.x86_64

alternatives --set javac java-1.8.0-openjdk.x86_64

export JAVA_HOME=/usr/lib/jvm/java-1.8.0

#编译源码包，整个过程看网络情况而定，本次用了 31 分钟

sh apache-doris-1.1.4-src/build.sh

二、安装部署

如果不使用源码编译，可以直接下载安装包

FE：wget --no-check-certificate ​​https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.1/1.1.4-rc01/apache-doris-fe-1.1.4-bin.tar.gz​​

BE：wget --no-check-certificate ​​https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.1/1.1.4-rc01/apache-doris-be-1.1.4-bin-x86_64.tar.gz​​

如果使用的是 Docker 编译源码，需要将 output 拉到宿主机

直接 mv 到挂载的目录里面

在宿主机使用 docker cp 命令拉取

创建数据目录

mkdir -p /acware/metadata/doris/fe

mkdir -p /acware/metadata/doris/be

三台机器都要创建

设置系统最大打开文件句柄数，如果不设置 BE 可能会启动失败

vi /etc/security/limits.conf

• soft nofile 65536
• hard nofile 65536
• soft nproc 65536
• hard nproc 65536

1.FE 配置

fe.conf

根据实际情况配置 JAVA_OPTS

云服务器只有 4G 内存，这里改了堆大小

meta_dir = /acware/metadata/doris/fe

priority_networks = 192.168.1.101/24

这里每台机器都不一样，需要修改

节点分发 FE

scp -r fe hybrid:$PWD

新节点创建 data 目录，修改 priority_networks

启动 FE

bin/start_fe.sh --daemon

其他 Follower/Observer 节点，需要先添加 mysql Client 后再执行

Follower：ALTER SYSTEM ADD FOLLOWER “hybrid02:9010”;

Observer：ALTER SYSTEM ADD OBSERVER “hybrid03:9010”;

启动命令 sh bin/start_fe.sh --helper hybrid01:9010 --daemon

2. MySQL Client

删除 mariadb

rpm -qa | grep mariadb

sudo rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64

安装配置 MySQL Client

Docker 直接安装 MySQL，具体步骤另行搜索

进入容器

首次进入没有密码 mysql -uroot -h 192.168.1.101 -P9030

设置密码 SET PASSWORD FOR ‘root’ = PASSWORD(‘xxx’);

下次进入 mysql -uroot -h 192.168.1.101 -P9030 -p 输入密码

这里注意，后面使用 http:fe_host:8030 的时候 root 密码是改的这个，如果没有修改密码，就还是空的

3. 配置 BE

be.conf

storage_root_path = /acware/metadata/doris/be

priority_networks = 192.168.1.101/24

节点分发 BE

scp -r be hybrid:$PWD

新节点创建 data 目录，修改 priority_networks

FE 添加 BE

进入 MySQL Client

添加 alter system add backend “hybrid01:9050”;

所有 BE 都添加进去

启动 BE

bin/start_be.sh --daemon

4. 配置 Broker

进入 Docker 的源码目录 fs_brokers/apache_hdfs_broker/ (默认是 HDFS broker)

如果新进入的话需要注意 Java 版本配置

编译

sh build.sh

从 Docker 中拷贝出来 或 移到挂载目录

docker cp 522e19b589a5:/root/apache-doris-1.1.4-src/fs_brokers/apache_hdfs_broker/output /acware/main/program/ac_basis/doris-1.1.4/

分发节点

scp -r broker/ hybrid03:$PWD

启动

bin/start_broker.sh --daemon

添加

ALTER SYSTEM ADD BROKER broker_101_102_103 “hybrid01:8000”,“hybrid02:8000”,“hybrid03:8000”;

查看

show proc “/brokers”;

5. 扩容

FE 扩容和缩容

添加

ALTER SYSTEM ADD FOLLOWER/OBSERVER “ip:port”;

删除

ALTER SYSTEM DROP FOLLOWER/OBSERVER “fe_host:edit_log_port”;

注意

FE 的数量必须是奇数，建议最多部署 3个 组成高可用模式即可，通常一个 FE 节点可以应对 10-20 台 BE 节点，

处于高可用模式下，可以添加 Observer 来扩展 FE 的读服务能力

服务器时钟不对齐会出现问题

Error during the handshake between two nodes. Some validity or compatibility check failed, preventing further communication between the nodes. Environment is invalid and must be closed.

启动命令

指定 Leader

sh bin/start_fe.sh --helper hybrid01:9010 --daemon

BE 扩容和缩容

增加

ALTER SYSTEM ADD BACKEND “hybrid02:9050”;

删除

ALTER SYSTEM DROP BACKEND “hybrid02:9050”;

ALTER SYSTEM DECOMMISSION BACKEND “hybrid02:9050”;

BROKER 扩容和缩容

ALTER SYSTEM ADD BROKER broker_xx_xx “hybrid01:8000”;

ALTER SYSTEM DROP BROKER broker_xx_xx “hybrid01:8000”;

ALTER SYSTEM DROP ALL BROKER broker_xx_xx;

6. 状态

查看服务情况，命令在 MySQL Client 执行

FE：show proc ‘/frontends’;

BE：show proc ‘/backends’;

Broker: show proc “/brokers”;

​​​​http://fe_host:8030​​​​

admin/root 密码空或修改的 mysql 密码

FE

BE

Broker