DMHS搭建DMDSC 2节点集群同步到单库

Posted 祢真伟大

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了DMHS搭建DMDSC 2节点集群同步到单库相关的知识，希望对你有一定的参考价值。

DMHS搭建DMDSC 2节点集群同步到单库

环境介绍

由 2 节点的 DM8 DMDSC集群+DMHS，数据同步到DM8单库+DMHS环境搭建

名称详情
CPUx86
OSKylin v10
DBDM8.1-2-18-21.11.11-150669-10013-ENT Pack16
DMHSdmhs_V4.1.1_dm8_rev99696_rh6_64_veri_20210527
DMDSC-IP192.168.248.73, 192.168.248.74
DM单机-IP192.168.248.75
宿主机192.168.100.169
DMDSC搭建步骤点我跳转-11.3 DM8:DMDSC共享存储集群搭建

1 安装DMOCI

1.1 源端dmdsc关闭数据库实例服务

[dmdba@dmdsc73 ~]$ cd /home/dmdba/dmdbms/bin
[dmdba@dmdsc73 bin]$ ./dmcssm ini_path=/home/dmdba/tool/dmcssm.ini
[monitor]         2023-03-09 09:10:38: CSS MONITOR V8
[monitor]         2023-03-09 09:10:38: CSS MONITOR SYSTEM IS READY.

[monitor]         2023-03-09 09:10:38: Wait CSS Control Node choosed...
[monitor]         2023-03-09 09:10:39: Wait CSS Control Node choosed succeed.

ep stop GRP_DSC
[monitor]         2023-03-09 09:11:18: 通知CSS(seqno:0)关闭节点(DSC73)的自动拉起功能
[monitor]         2023-03-09 09:11:18: 通知CSS(seqno:0)关闭节点(DSC73)的自动拉起功能成功
[monitor]         2023-03-09 09:11:18: 通知CSS(seqno:1)关闭节点(DSC74)的自动拉起功能
[monitor]         2023-03-09 09:11:18: 通知CSS(seqno:1)关闭节点(DSC74)的自动拉起功能成功
[monitor]         2023-03-09 09:11:18: 关闭CSS自动拉起功能成功
[monitor]         2023-03-09 09:11:18: 通知CSS(seqno:0)执行EP STOP(GRP_DSC)
[monitor]         2023-03-09 09:11:26: 通知当前活动的CSS执行清理操作
[monitor]         2023-03-09 09:11:27: 清理CSS(0)请求成功
[monitor]         2023-03-09 09:11:27: 清理CSS(1)请求成功
[monitor]         2023-03-09 09:11:27: 命令EP STOP GRP_DSC执行成功

1.2 将DMOCI 复制到源端与目的端的数据库bin目录

若存在相同的文件替换即可

1.3 对数据库bin 执行目录文件更改用户属组和权限

HS73

[root@dmdsc73 dmdba]$ chown -R dmdba:dinstall /home/dmdba/dmdbms/bin
[root@dmdsc73 dmdba]$ chmod -R 755 /home/dmdba/dmdbms/bin
[root@dmdsc73 dmdba]$

HS74

[root@dmdsc74 ~]$ chown -R dmdba:dinstall /home/dmdba/dmdbms/bin
[root@dmdsc74 ~]$ chmod -R 755 /home/dmdba/dmdbms/bin
[root@dmdsc74 ~]$

HS75
关闭数据库服务，拷贝DMOCI，对数据库bin 执行目录文件更改用户属组和权限

[root@node75 ~]$ /home/dmdba/dmdbms/bin/DmService75 stop
Stopping DmService75:                                      [ OK ]
[root@node75 ~]$ chown -R dmdba:dinstall /home/dmdba/dmdbms/bin
[root@node75 ~]$ chmod -R 755 /home/dmdba/dmdbms/bin
$$完成拷贝后，启动数据库服务
[root@node75 ~]$/home/dmdba/dmdbms/bin/DmService75 start
Startting DmService75:                                      [ OK ]

2 启动源数据库服务并配置数据库实例参数

2.1 使用DMCSSM启动集群实例

EP STARTUP GRP_DSC
[monitor]         2023-03-09 09:11:43: 通知CSS(seqno:0)执行EP STARTUP(DSC73)
[monitor]         2023-03-09 09:11:52: 通知CSS(seqno:0)执行EP STARTUP(DSC73)成功
[monitor]         2023-03-09 09:11:52: 通知CSS(seqno:1)执行EP STARTUP(DSC74)
[monitor]         2023-03-09 09:12:00: 通知CSS(seqno:1)执行EP STARTUP(DSC74)成功
[monitor]         2023-03-09 09:12:00: 通知CSS(seqno:0)打开节点(DSC73)的自动拉起功能
[monitor]         2023-03-09 09:12:00: 通知CSS(seqno:0)打开节点(DSC73)的自动拉起功能成功
[monitor]         2023-03-09 09:12:00: 通知CSS(seqno:1)打开节点(DSC74)的自动拉起功能
[monitor]         2023-03-09 09:12:01: 通知CSS(seqno:1)打开节点(DSC74)的自动拉起功能成功
[monitor]         2023-03-09 09:12:01: 打开CSS自动拉起功能成功
[monitor]         2023-03-09 09:12:01: 通知当前活动的CSS执行清理操作
[monitor]         2023-03-09 09:12:01: 清理CSS(0)请求成功
[monitor]         2023-03-09 09:12:02: 清理CSS(1)请求成功
[monitor]         2023-03-09 09:12:02: 命令EP STARTUP GRP_DSC执行成功

[CSS73]            [DB]: 设置命令[DCR_LOAD], 目标站点 DSC73[0], 命令序号[29]
[CSS73]            [DB]: 设置命令[DCR_LOAD], 目标站点 DSC74[1], 命令序号[30]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC73[0], 命令序号[0]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC74[1], 命令序号[0]
[CSS73]            [DB]: 设置命令[EP START], 目标站点 DSC73[0], 命令序号[32]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC73[0], 命令序号[0]
[CSS73]            [DB]: 设置命令[EP START], 目标站点 DSC74[1], 命令序号[34]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC74[1], 命令序号[0]
[CSS73]            [DB]: 设置命令[EP START2], 目标站点 DSC73[0], 命令序号[37]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC73[0], 命令序号[0]
[CSS73]            [DB]: 设置命令[EP START2], 目标站点 DSC74[1], 命令序号[39]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC74[1], 命令序号[0]
[CSS73]            [DB]: 设置命令[EP OPEN], 目标站点 DSC73[0], 命令序号[42]
[CSS73]            [DB]: 设置命令[EP OPEN], 目标站点 DSC74[1], 命令序号[43]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC73[0], 命令序号[0]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC74[1], 命令序号[0]
[CSS73]            [DB]: 设置命令[EP REAL OPEN], 目标站点 DSC73[0], 命令序号[45]
[CSS73]            [DB]: 设置命令[EP REAL OPEN], 目标站点 DSC74[1], 命令序号[46]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC73[0], 命令序号[0]
[CSS73]            [DB]: 设置命令[NONE], 目标站点 DSC74[1], 命令序号[0]

2.2 DMDSC源其中一个节点执行SQL脚本（不同数据库品牌执行脚本不同）

2.3 DMDSC源其中一个节点配置开启逻辑日志功能

HS73
DMDSC 开启逻辑日志功能（其中一个节点执行，集群会自动同步配置）
RLOG_APPEND_LOGIC =2 （会立即生效，不用重启数据库服务）

[dmdba@dmdsc73 ~]$ cd dmdbms/bin
[dmdba@dmdsc73 bin]$ ./disql SYSDBA/SYSDBA
服务器[LOCALHOST:5236]:处于普通打开状态
登录使用时间 : 2.373(ms)
disql V8
SQL> sp_set_para_value(1,'RLOG_APPEND_LOGIC',2);
DMSQL 过程已成功完成
已用时间: 12.224(毫秒). 执行号:500.
SQL> EXIT
[dmdba@dmdsc73 bin]$

HS73查询dm.ini参数值

HS74查询dm.ini参数值

HS75查询dm.ini参数值（默认值）

3 安装DMHS程序

3.1 源和目的每个节点上传DMHS安装包和授权

上传目录：/home/dmsoft/
添加执行权限修改文件属组

3.1.1 HS73 上传DMHS安装包和授权

3.1.2 HS74 上传DMHS安装包和授权

3.1.3 HS75 上传DMHS安装包和授权

3.2 安装程序

源端建议完整版安装（包含web端），目的端可以简易安装
使用dmdba用户安装

3.2.1 HS73 完整安装（包含web端）

只需要配置依赖库路径，其他参数默认
请配置依赖库路径:/home/dmdba/dmdbms/bin

安装日志记录：

[dmdba@dmdsc73 ~]$ cd /home/dmsoft
[dmdba@dmdsc73 dmsoft]$ ./dmhs_V4.1.1_dm8_rev99696_rh6_64_veri_20210527.bin -i
Extract install files.........

1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
/tmp/DMHSInstall/install.log
1.免费试用达梦数据实时同步
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据实时同步]:2
Key文件路径:/home/dmsoft/dmhs.key
Key文件限制信息如下:
有效日期:2023-06-25
用户名称:达梦公司产品试用
服务器颁布类型：试用版
发布类型：企业版
Key类型：企业版
授权用户数：无限制
并发连接数：无限制
1.精简版
2.完整版(web客户端)
3.自定义
安装类型[1.精简版]:2
1.实时同步软件服务器
2.远程部署工具
3.实时同步软件客户端
4.内置数据库
5.实时同步软件配置助手
6.手册
所需磁盘空间:899 MB
安装目录: [/home/dmdba/dmhs]
Web服务端口(8080):
1.统一部署
2.现在初始化
是否初始化达梦数据实时同步系统[1.统一部署]:
正在安装
default start ...    default finished.
server start ...    server finished.
hs_agent start ...    hs_agent finished.
webmanager start ...    webmanager finished.
db start ...    db finished.
hsca start ...    hsca finished.
doc start ...    doc finished.
doc start ...    doc finished.
postinstall start ...    postinstall finished.
正在创建快捷方式
安装成功
远程部署工具配置
远程部署工具名称[HsAgent]:
主机Ip(外网)[192.168.248.73](192.168.248.73):
远程部署工具管理端口[5456](1000-65535):
内置数据库轮询间隔[3](1-60):
内置数据库IP[192.168.248.73]:
内置数据库端口[15236]:
内置数据库用户名[SYSDBA]:
内置数据库密码[SYSDBA]:
服务脚本环境变量设置
依赖库路径
提示：此配置项供用户配置源或目的数据库依赖库路径和odbc依赖库路径, 多个路径以":"隔开(例:/opt/dmdbms/bin:/usr/local/lib),此配置项会添加到服务脚本的NEED_LIB_PATH的变量值中。
请配置依赖库路径:/home/dmdba/dmdbms/bin
内置数据库服务
1.自动
2.手动
启动方式:[2.手动]
正在创建内置数据库服务
初始化内置数据库
初始化内置数据库失败
远程控制服务
1.自动
2.手动
启动方式:[2.手动]
正在创建远程控制服务
web服务
1.自动
2.手动
启动方式:[2.手动]
正在创建web服务
达梦数据实时同步V4.0安装完成
更多安装信息，请查看安装日志文件:
/home/dmdba/dmhs02/log/install.log


[dmdba@dmdsc73 dmsoft]$

3.2.2 EP74 精简安装

其中需要改动的参数：
内置数据库IP配置HS73的IP
内置数据库IP[]:192.168.248.73
请配置依赖库路径:/home/dmdba/dmdbms/bin
其他默认安装

安装日志记录：

[dmdba@node74 dmsoft]$ ./dmhs_V4.1.1_dm8_rev99696_rh6_64_veri_20210527.bin -i
Extract install files.........

1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
/tmp/DMHSInstall/install.log
1.免费试用达梦数据实时同步
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据实时同步]:2
Key文件路径:/home/dmsoft/dmhs.key
Key文件限制信息如下:
有效日期:2023-06-25
用户名称:达梦公司产品试用
服务器颁布类型：试用版
发布类型：企业版
Key类型：企业版
授权用户数：无限制
并发连接数：无限制
1.精简版
2.完整版(web客户端)
3.自定义
安装类型[1.精简版]:
1.实时同步软件服务器
2.远程部署工具
3.实时同步软件配置助手
4.手册
所需磁盘空间:584 MB
安装目录: [/home/dmdba/dmhs]
1.统一部署
2.现在初始化
是否初始化达梦数据实时同步系统[1.统一部署]:
正在安装
default start ...    default finished.
server start ...    server finished.
hs_agent start ...    hs_agent finished.
hsca start ...    hsca finished.
doc start ...    doc finished.
postinstall start ...    postinstall finished.
正在创建快捷方式
安装成功
远程部署工具配置
远程部署工具名称[HsAgent]:
主机Ip(外网)[192.168.248.75](192.168.248.75):
远程部署工具管理端口[5456](1000-65535):
内置数据库轮询间隔[3](1-60):
内置数据库IP[]:192.168.248.73
内置数据库端口[15236](1000-65535):
内置数据库用户名[SYSDBA]:
内置数据库密码[SYSDBA]:
服务脚本环境变量设置
依赖库路径
提示：此配置项供用户配置源或目的数据库依赖库路径和odbc依赖库路径, 多个路径以":"隔开(例:/opt/dmdbms/bin:/usr/local/lib),此配置项会添加到服务脚本的NEED_LIB_PATH的变量值中。
请配置依赖库路径:/home/dmdba/dmdbms/bin
远程控制服务
1.自动
2.手动
启动方式:[2.手动]
正在创建远程控制服务
达梦数据实时同步V4.0安装完成
更多安装信息，请查看安装日志文件:
/home/dmdba/dmhs02/log/install.log


[dmdba@node74 dmsoft]$

3.2.3 EP75 精简安装

其中需要改动的参数：
内置数据库IP配置HS73的IP
内置数据库IP[]:192.168.248.73
请配置依赖库路径:/home/dmdba/dmdbms/bin
其他默认安装

安装日志记录：

[dmdba@node75 dmsoft]$ ./dmhs_V4.1.1_dm8_rev99696_rh6_64_veri_20210527.bin -i
Extract install files.........

1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
/tmp/DMHSInstall/install.log
1.免费试用达梦数据实时同步
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据实时同步]:2
Key文件路径:/home/dmsoft/dmhs.key
Key文件限制信息如下:
有效日期:2023-06-25
用户名称:达梦公司产品试用
服务器颁布类型：试用版
发布类型：企业版
Key类型：企业版
授权用户数：无限制
并发连接数：无限制
1.精简版
2.完整版(web客户端)
3.自定义
安装类型[1.精简版]:
1.实时同步软件服务器
2.远程部署工具
3.实时同步软件配置助手
4.手册
所需磁盘空间:584 MB
安装目录: [/home/dmdba/dmhs]
1.统一部署
2.现在初始化
是否初始化达梦数据实时同步系统[1.统一部署]:
正在安装
default start ...    default finished.
server start ...    server finished.
hs_agent start ...    hs_agent finished.
hsca start ...    hsca finished.
doc start ...    doc finished.
postinstall start ...    postinstall finished.
正在创建快捷方式
安装成功
远程部署工具配置
远程部署工具名称[HsAgent]:
主机Ip(外网)[192.168.248.75](192.168.248.75):
远程部署工具管理端口[5456](1000-65535):
内置数据库轮询间隔[3](1-60):
内置数据库IP[]:192.168.248.73
内置数据库端口[15236](1000-65535):
内置数据库用户名[SYSDBA]:
内置数据库密码[SYSDBA]:
服务脚本环境变量设置
依赖库路径
提示：此配置项供用户配置源或目的数据库依赖库路径和odbc依赖库路径, 多个路径以":"隔开(例:/opt/dmdbms/bin:/usr/local/lib),此配置项会添加到服务脚本的NEED_LIB_PATH的变量值中。
请配置依赖库路径:/home/dmdba/dmdbms/bin
远程控制服务
1.自动
2.手动
启动方式:[2.手动]
正在创建远程控制服务
达梦数据实时同步V4.0安装完成
更多安装信息，请查看安装日志文件:
/home/dmdba/dmhs02/log/install.log

[dmdba@node75 dmsoft]$

4 启动DMHS

4.1 HS73启动内置数据库+启动web服务+启动HS_AGENT服务

4.2 HS74 启动HS_AGENT服务

4.3 HS75 启动HS_AGENT服务

5 配置IP端口代理环境（WINDOWS环境和linux网络通跳过此步骤）

因本地网络与虚拟机不通，此处通过IP+端口代理访问
（宿主机：192.168.100.169 虚拟机：192.168.248.73）

6 web方式登录DMHS管理界面

WEB端登录：IP+端口（默认IP , 端口 192.168.248.73:8080/manager）
经过IP，端口代理映射后为 192.168.100.169:7380/manager
默认用户名 admin
默认密码 888888

6.1 登录界面

6.2 登录成功后的界面

7 配置DMHS实例

7.1 HS75 先配置目的端



确定，配置完成

7.2 HS73和HS74是集群，要先在HS73和HS74本机配置服务文件

7.2.1 编写 vi /etc/dm_svc.conf

7.2.2 HS73验证配置文件可用

7.2.3 HS74验证配置文件可用

7.3 源DMDSC HS73 配置HS实例


7.4 源DMDSC HS74 配置HS实例


7.5 修改源端 HS73,HS74 实例配置

查看 DMDSC集群 dmdcr_cfg.ini 配置文件中GRP_ASM组 相关端口号

7.5.1 修改 HS73实例配置文件

7.5.1.1 对HS73 实例捕获器 cpt 右键修改配置

7.5.1.2 对HS73 实例右键修改配置

<dir_replace>
	<item>0#/home/dmdba/dmdata/dmarch73</item>
	<item>1#/home/dmdba/dmdata/dmarch74</item>
</dir_replace>

7.5.2 修改 HS74实例配置文件

7.5.2.1 对HS74 实例捕获器 cpt 右键修改配置

7.5.2.2 对HS74 实例右键修改配置

<dir_replace>
	<item>0#/home/dmdba/dmdata/dmarch74</item>
	<item>1#/home/dmdba/dmdata/dmarch73</item>
</dir_replace>

8 启动HS服务

8.1 启动HS75 实例服务

8.2 启动HS73 实例服务

8.3 启动HS74 实例服务

9 启动HS实例目的端执行器+源端捕获器

9.1 启动目的端HS75 执行器



9.2 HS73 装载字典

copy 0 "sch.name='SYSDBA'" DICT|LSN|CREATE|INSERT|INDEX


查看HS73实例日志


装载成功

9.3 启动源端 HS73 启动cpt 捕获器，开始实时同步数据



9.4 启动源端 HS74 启动cpt 捕获器，开始源端主备模式实时同步数据




等待刷新后

10 验证数据同步情况


11 恭喜搭建完成

达梦数据库-RAC-DMDSC部署的关键点

达梦数据库-RAC-DMDSC部署的关键点

环境准备

网络准备（ip地址分配）、共享磁盘准备和挂载
ifconfig enp0s8 10.1.2.101;ifconfig enp0s9 192.168.56.101
ifconfig enp0s8 10.1.2.102;ifconfig enp0s9 192.168.56.102

确认用的东西

确认所参考的手册、以及所用的dmserver的版本

裸设备挂载

怎么绑定（使用多路径，还是使用sdx的名称绑定），在不同的操作系统版本（rh6系列和rh7系列可能不同），实际的挂载方法不同，是各种部署手册的实际差异。
而其他内容，在做好了“环境准备、确认用的东西”之后，一般都是不会碰到问题的。

怎么绑定？

使用多路径绑定、使用sdx名称绑定的不同，实际上，就是同一个配置文件的写法不同。

怎么生效绑定？

这个也是一个新手常见的拦路虎，有下面几种可用的方法：

  1. 写好配置文件后：执行 start_udev，完成裸设备绑定。（from dm8_dmdsc.pdf 手册）
  2. 写好配置文件后：依次执行 /sbin/udevadm control --reload 和/sbin/udevadm trigger --type=devices --action=change，完成裸设备绑定。（from 刘欣dmdsc搭建手册，通过多路径绑定的名称，实际上使用的就是uuid）
  3. 写好配置文件后，执行partprobe /dev/sdb，完成裸设备绑定。（from https://blog.csdn.net/fengxiaozhenjay/article/details/104449068/ ）这里实际上就是对应第一种的start_udev方法，只是在rh7上（rh6 start_udev，rh7 partprobe /dev/sdb），使用的命令方式不一样而已。

20200219222820

以上是关于DMHS搭建DMDSC 2节点集群同步到单库的主要内容，如果未能解决你的问题，请参考以下文章

用mongoshake实现mongo分片集群到单实例和分片集群的数据同步

用mongoshake实现mongo分片集群到单实例和分片集群的数据同步

Oracle 11g DataGuard搭建 - 单节点到单节点

MySQL数据迁移工具的设计与实现

MySQL数据迁移工具的设计与实现

[转]ZooKeeper 集群环境搭建 （本机3个节点）