Doris实践——Doris编译安装及环境准备
Posted 扫地增
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Doris实践——Doris编译安装及环境准备相关的知识，希望对你有一定的参考价值。
文章目录
一、编译：
1.Docker 准备
2.下载 Docker 镜像
docker pull apachedoris/doris-dev:build-env
我是直接下载的官方提供的doris的编译环境
需要按照
Doris版本运行对应命令下载对应docker镜像
| 镜像版本 | commit id | doris 版本 |
|---|---|---|
| apachedoris/doris-dev:build-env | before ff0dd0d | 0.8.x, 0.9.x |
| apachedoris/doris-dev:build-env-1.1 | ff0dd0d | 0.10.x, 0.11.x |
| apachedoris/doris-dev:build-env-1.2 | 4ef5a8c | 0.12.x - 0.14.0 |
| apache/incubator-doris:build-env-1.3 | ad67dd3 or later | 后续的发布版本 |
运行如下命令检查下载的docker镜像
docker images
3.Doris源码下载
下载源码>>点击“下载”>>选择需要的版本现在我们下载
0.11.0版本的源码，并在本地解压
4.挂载编译
#/your/local/incubator-doris-DORIS-x.x.x-release/ 本地incubator-doris-DORIS-x.x.x-release路径
#/root/incubator-doris-DORIS-x.x.x-release/ docker镜像挂载路径，这样进入后就可以直接进入到源码包中运行sh build.sh编译即可
docker run -it -v /your/local/incubator-doris-DORIS-x.x.x-release/:/root/incubator-doris-DORIS-x.x.x-release/ apachedoris/doris-dev:build-env-1.1
#编译生成doris，编译后be和fe安装包在生成的output/目录下，如果要安装broker需要单独编译。
sh build.sh
#编译broker,编译后broker安装包在生成的output/目录下
cd $DORIS_HOME/fs_broker/apache_hdfs_broker
sh build.sh
5.编译后压缩
编译后压缩zip包，并复制到本地
#docker压缩
cd /root/incubator-doris-DORIS-x.x.x-release
zip -r output.zip ./output
cd /root/incubator-doris-DORIS-x.x.x-release/fs_broker
zip -r output.zip ./output
#退出docker
exit
#从docker复制到本地【04a83d4b3014】镜像名称:/docker文件路径，复制到本地路径/Users/iyunxiao/Desktop
docker cp 04a83d4b3014:/root/doris.zip /Users/iyunxiao/Desktop
二、安装
1、部署
直接在Doris-Install-Wiki中按照3.部署部署Doris
请使用Doris-Install-Wiki安装
在/home/hadoop/创建doris目录，解压到/home/hadoop/doris目录
tar -zxvf ./datas/apache-doris-0.11.0-incubating-src.tar.gz -C ../doris
2、配置FE：
1、配置文件为
conf/fe.conf。
其中注意：meta_dir：元数据存放位置。默认在fe/doris-meta/下。需手动创建该目录。
mkdir doris-meta
2、
fe.conf中JAVA_OPTS默认java最大堆内存为2GB，建议生产环境调整至8G以上。
3、在fe/conf/fe.conf中修改端口，建议将8080以下的端口（8080以下基本为系统端口对外不可见）都改为8080以上的端口或者直接在原有端口的基础上在端口前加1，如8030改为18030
4、设置网络安全组将fe/conf/fe.conf中的priority_networks=10.1.3.0/24，改为priority_networks=hostname/24
5、修改fe.conf文件中元数据目录
3、启动FE
sh bin/start_fe.sh --daemon
FE进程启动进入后台执行。日志默认存放在fe/log/目录下。如启动失败，可以通过查看fe/log/fe.log或者fe/log/fe.out查看错误信息。
4、配置BE
1、配置
be/conf/be.conf
在be/conf/be.conf中修改端口，建议将8080以下的端口（8080以下基本为系统端口对外不可见）都改为8080以上的端口或者直接在原有端口的基础上在端口前加1，如8030改为18030
2、设置网络安全组将be/conf/be.conf中的priority_networks=10.1.3.0/24，改为priority_networks=hostname/24
3、修改be/conf/be.conf。主要是配置storage_root_path：数据存放目录。默认在be/storage下，需要手动创建该目录。多个路径之间使用 ; 分隔（最后一个目录后不要加 ;）。
4、将mysql中的执行脚本mysql软连接到$DORIS_HOME/目录下执行
#映射mysql
30:ln -s /home/hadoop/mysql/current/bin/mysql /home/hadoop/doris/
31-35:ln -s /home/hadoop/mysql/mysql/bin/mysql /home/hadoop/doris/
#进入mysql添加角色，host为leaderhost，port为 fe/conf/fe.conf 中的 query_port；
./mysql -h host -P port -uroot
./mysql -h 172.16.0.35 -P 9030 -uroot
#添加BACKEND，ALTER SYSTEM ADD BACKEND "host:port";其中 host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port。
ALTER SYSTEM ADD BACKEND "172.16.0.30:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.31:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.32:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.33:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.34:9050";
ALTER SYSTEM ADD BACKEND "172.16.0.35:9050";
#添加OBSERVER，ALTER SYSTEM ADD FOLLOWER "host:port";或ALTER SYSTEM ADD OBSERVER "host:port";其中 host 为 Follower 或 Observer 所在节点 ip，port 为其配置文件 fe.conf 中的 edit_log_port。
ALTER SYSTEM ADD OBSERVER "172.16.0.34:9010";
ALTER SYSTEM ADD FOLLOWER "172.16.0.33:9010";
#在Follower节点和Observer节点启动，host为leaderhost，port 为其配置文件 fe.conf 中的 edit_log_port。
./bin/start_fe.sh --helper host:port --daemon
#可以查看当前已加入集群的 FE 及其对应角色。
SHOW PROC ‘/frontends’;
5、启动be
#启动backend节点
sh bin/start_be.sh --daemon
#查看BE
SHOW PROC ‘/backend’;
6、编译broker
笔者用到的版本可能不太稳定，需要单独编译broker
1、编译
broker，在doris源码包中找到fs_broker目录，$Doris_release_dir/fs_broker/apache_hdfs_broker下执行
./build.sh
2、编译完成后将
$Doris_release_dir/fs_broker/apache_hdfs_broker中的output目录下安装包拷贝到本地并上传到各节点，按照如上理论配置即可
3、需要配置apache_hdfs_broker.conf文件中的broker_ipc_port配置
7、在mysql中添加角色
#doris/be/be/bin执行
./mysql -h 172.16.0.35 -P 9030 -uroot
#添加broker信息
ALTER SYSTEM ADD BROKER broker_33_34_35 "172.16.0.33:18000","172.16.0.34:18000","172.16.0.35:18000";
ALTER SYSTEM ADD BROKER broker_33 "172.16.0.33:18000";
ALTER SYSTEM ADD BROKER broker_34 "172.16.0.34:18000";
ALTER SYSTEM ADD BROKER broker_35 "172.16.0.35:18000";
#其中 host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port。
8、启动broker
#各broker节点启动
sh bin/start_broker.sh --daemon
节点查看 http://172.16.0.35:18030/
组成fe_leaderhostname:fe_http_port用户root或admin，没有密码
三、写在最后
笔者也是第一次进行调研安装，仅再次分享个人安装经验。仅为大家提供经验。主要教程建议以官网为主。
以上是关于Doris实践——Doris编译安装及环境准备的主要内容，如果未能解决你的问题，请参考以下文章