mpp数据库适合哪些应用场景？

Posted 2023-04-30

参考技术A MPP数据库主要适合查询统计、分析研判等大数据处理场景，主要特点是整体架构呈现纯扁平化，不存在单点性能瓶颈，基于开放式标准X86 PC服务器构建，采用分布式架构设计，灵活实现按需部署，具备灵活的系统伸缩性，支持系统的纵向扩展和横向扩展。
国内的产品主要是南大通用的GBase 8a MPP Cluster，是面向大数据、云计算场景自主研发的大规模并行数据库集群产品，在海量数据高速处理的场景下具有高性能、低成本、高可靠、易使用等诸多优势，国外的如GreenPlum、Vertica等。

DM8数据库MPP集群配置

DM8数据库MPP集群配置

一、部署规划

MPP集群适合分析型应用环境。

以下以2节点MPP集群部署规划

主机名	服务ip	心跳ip	数据库名	实例名
MPP01	192.168.3.21	192.168.3.22	DAMENG	dmmpp1
MPP02	192.168.3.23	192.168.3.24	DAMENG	dmmpp2

端口规划：

实例名	实例端口	MAL系统监听 TCP 连接的端口
dmmpp1	5236	5269
dmmpp2	5237	5270

目录规划：（在对应服务器上创建目录owner为dmdba组为dinstall）

数据库软件安装目录	/db/dmdbms
实例安装目录	/dm/dmdbms/data

二、数据库软件安装

注：所有服务器节点都需要安装数据库软件。

2.1 操作系统配置

2.1.1 操作系统用户创建

groupadd -g 12349 dinstall

useradd -u 12345 -g dinstall -m -d /home/dmdba -s /bin/bash dmdba

passwd dmdba

2.1.2 修改操作系统用户变量

使用dmdba用户执行以下命令：

vi .bash_profile

添加如下内容：

export DM_HOME=/dm/dmdbms

export PATH=$PATH:$DM_HOME/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$DM_HOME/bin

变量生效：

[dmdba@DM1 ~]$ source .bash_profile

2.1.3 修改操作系统用户资源限制

使用root用户执行以下命令：

vi /etc/security/limits.conf

添加如下内容：

dmdba  soft      nice       0

dmdba  hard      nice       0

dmdba  soft      as         unlimited

dmdba  hard      as         unlimited

dmdba  soft      fsize      unlimited

dmdba  hard      fsize      unlimited

dmdba  soft      nproc      65536

dmdba  hard      nproc      65536

dmdba  soft      nofile     65536

dmdba  hard      nofile     65536

dmdba  soft      core       unlimited

dmdba  hard      core       unlimited

dmdba  soft      data       unlimited

dmdba  hard      data       unlimited

2.1.4 修改操作系统参数

使用root用户执行以下命令：

vi /etc/sysctl.conf

添加如下内容：

fs.file-max = 6815744

fs.aio-max-nr = 1048576

kernel.shmall = 2097152

kernel.shmmax = 2147483648

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 4194304

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576

vm.swappiness = 0

vm.dirty_background_ratio = 3

vm.dirty_ratio = 80

vm.dirty_expire_centisecs = 500

vm.dirty_writeback_centisecs = 100

kernel.core_pattern=/coredump/%e.core.%p

参数生效：

sysctl -p

2.1.5 安装目录创建

使用root用户执行以下命令：

mkdir -p /dm/dmdbms

chown -R dmdba:dinstall /dm

2.2 数据库软件安装

2.2.1 解压软件包

使用root用户执行以下命令：

unzip dm8_20210630_x86_rh6_64_ent.zip

chown dmdba:dinstall DM*

2.2.2 数据库软件安装

注：主备节点和监视器节点都需安装数据库软件

使用dmdba用户执行以下命令：

./DMInstall.bin -i

Please select the installer\'s language (E/e:English C/c:Chinese) [E/e]:c

解压安装程序..........

欢迎使用达梦数据库安装程序

 

是否输入Key文件路径? (Y/y:是 N/n:否) [Y/y]:n

 

是否设置时区? (Y/y:是 N/n:否) [Y/y]:y

设置时区:

[ 1]: GTM-12=日界线西

[ 2]: GTM-11=萨摩亚群岛

[ 3]: GTM-10=夏威夷

[ 4]: GTM-09=阿拉斯加

[ 5]: GTM-08=太平洋时间（美国和加拿大）

[ 6]: GTM-07=亚利桑那

[ 7]: GTM-06=中部时间（美国和加拿大）

[ 8]: GTM-05=东部部时间（美国和加拿大）

[ 9]: GTM-04=大西洋时间（美国和加拿大）

[10]: GTM-03=巴西利亚

[11]: GTM-02=中大西洋

[12]: GTM-01=亚速尔群岛

[13]: GTM=格林威治标准时间

[14]: GTM+01=萨拉热窝

[15]: GTM+02=开罗

[16]: GTM+03=莫斯科

[17]: GTM+04=阿布扎比

[18]: GTM+05=伊斯兰堡

[19]: GTM+06=达卡

[20]: GTM+07=曼谷，河内

[21]: GTM+08=中国标准时间

[22]: GTM+09=汉城

[23]: GTM+10=关岛

[24]: GTM+11=所罗门群岛

[25]: GTM+12=斐济

[26]: GTM+13=努库阿勒法

[27]: GTM+14=基里巴斯

请选择设置时区 [21]:21

 

安装类型:

1 典型安装

2 服务器

3 客户端

4 自定义

请选择安装类型的数字序号 [1 典型安装]:1

所需空间: 1178M

 

请选择安装目录 [/home/dmdba/dmdbms]:/dm/dmdbms

可用空间: 36G

是否确认安装路径(/dm/dmdbms)? (Y/y:是 N/n:否)  [Y/y]:y

 

安装前小结

安装位置: /dm/dmdbms

所需空间: 1178M

可用空间: 36G

版本信息:

有效日期:

安装类型: 典型安装

是否确认安装? (Y/y:是 N/n:否):y

2021-10-07 18:11:25

[INFO] 安装达梦数据库...

2021-10-07 18:11:25

[INFO] 安装 基础 模块...

2021-10-07 18:12:10

[INFO] 安装 服务器 模块...

2021-10-07 18:12:11

[INFO] 安装 客户端 模块...

2021-10-07 18:12:19

[INFO] 安装 驱动 模块...

2021-10-07 18:12:21

[INFO] 安装 手册 模块...

2021-10-07 18:12:23

[INFO] 安装 服务 模块...

2021-10-07 18:12:24

[INFO] 移动日志文件。

2021-10-07 18:12:24

[INFO] 安装达梦数据库完成。

 

请以root系统用户执行命令:

/dm/dmdbms/script/root/root_installer.sh

 

安装结束

三、MPP集群配置

3.1 创建数据库实例

所有节点都需创建数据库实例

使用dmdba用户执行如下操作命令：

dminit path=/dm/dmdbms/data page_size=32 charset=1 log_size=256

3.2 配置dm.ini

所有节点都需配置dm.ini文件。

MPP01：

使用dmdba用户执行以下命令：

vi dm.ini

修改如下内容：

INSTANCE_NAME  = dmmpp1

PORT_NUM  = 5236

MAL_INI = 1

MPP_INI = 1

MPP02：

使用dmdba用户执行以下命令：

vi dm.ini

修改如下内容：

INSTANCE_NAME  = dmmpp2

PORT_NUM  = 5237

MAL_INI = 1

MPP_INI = 1

DM02：

使用dmdba用户执行以下命令：

vi dm.ini

修改如下内容：

INSTANCE_NAME = dmrw3

MAL_INI = 1

ARCH_INI = 1

ALTER_MODE_STATUS = 0

ENABLE_OFFLINE_TS = 2

3.3 配置dmmal.ini

所有节点都需配置dmmal.ini文件，在dm.ini文件同级目录下创建dmmal.ini文件。所有节点的dmmal.ini文件内容需保持一致。

vi dmmal.ini

添加如下内容：

[MAL_INST1]

MAL_INST_NAME = dmmpp1

MAL_HOST = 192.168.3.22

MAL_PORT = 5269

MAL_INST_HOST = 192.168.3.21

MAL_INST_PORT = 5236

[MAL_INST2]

MAL_INST_NAME = dmmpp2

MAL_HOST = 192.168.3.24

MAL_PORT = 5270

MAL_INST_HOST = 192.168.3.23

MAL_INST_PORT = 5237

3.4 配置dmmpp.ini

所有节点都需配置dmmpp.ini文件，在dm.ini文件同级目录下创建dmmpp.ini文件。所有节点的dmmpp.ini文件内容需保持一致。

vi dmmpp.ini

添加如下内容：

[SERVICE_NAME1]

MPP_SEQ_NO = 0

MPP_INST_NAME  = dmmpp1

[SERVICE_NAME2]

MPP_SEQ_NO = 1

MPP_INST_NAME  = dmmpp2

3.5 将dmmpp.ini转换成dmmpp.ctl

在所有数据库节点，使用dmdba用户执行以下命令：

dmctlcvt TYPE=2 SRC=/dm/dmdbms/data/DAMENG/dmmpp.ini DEST=/dm/dmdbms/data/DAMENG/dmmpp.ctl

3.6 注册数据库服务

在所有数据库节点，使用root用户执行以下命令：

/dm/dmdbms/script/root/dm_service_installer.sh -t dmserver -p dmmpp -dm_ini /dm/dmdbms/data/DAMENG/dm.ini

3.7 启动MPP集群

在所有数据库节点，使用root用户执行以下命令：

systemctl enable DmServicedmmpp.service

systemctl start DmServicedmmpp.service

3.8 验证集群状态

在任意节点使用dmdba用户执行以下语句：

disql sysdba/SYSDBA

SQL> select instance_name from v$instance;

 

行号     INSTANCE_NAME

---------- -------------

1          DMMPP2

2          DMMPP1

 

已用时间: 24.068(毫秒). 执行号:295715.

查询结果显示集群有两个节点，证实集群状态正常。

四、数据库参数调整

执行参数优化脚本，优化数据库参数。

五、重启MPP集群

在所有节点使用root用户执行以下命令:

关闭数据库实例：systemctl stop DmServiceGRP1_RT_01.service

在所有节点使用root用户执行以下命令:

启动数据库实例：systemctl start DmServiceGRP1_RT_01.service

 

 想要获取达梦数据库更多的学习资料，可登陆达梦数据云适配中心（https://eco.dameng.com/）获取。