达梦DM8 DW实时主备集群搭建 - sdk社区

一、DM DW集群简介

DM 数据守护（Data Watch）将主库（生产库）产生的 Redo 日志传输到备库，备库接收并重新应用 Redo 日志，从而实现备库与主库的数据同步。DM 数据守护的核心思想是监控数据库状态，获取主、备库数据同步情况，为 Redo日志传输与重演过程中出现的各种异常情况提供一系列的解决方案。 DM 数据守护主要由主库、备库、Redo 日志、Redo 日志传输、Redo 日志重演、守护进程（dmwatcher）、监视器（dmmonitor）组成。如下图所示：在这里插入图片描述 DM8 数据守护集群结构图

二、搭建步骤

1、实验环境：

虚拟机软件：VirtualBox 6.1
机器名	IP地址	实例信息
主机	192.168.56.103	GRP1_RW_01
备机	192.168.56.104	GRP1_RW_02
确认监视器	192.168.56.105	确认监视器
数据库：DM8 64位，安装包名称为dm8_setup_rh7_64_ent_8.1.1.88.iso 
主机操作系统：CentOS Linux release 7.2.1511 (Core)，64位

2、资源规划

机器名	IP地址	实例信息
主机	192.168.56.103	GRP1_RW_01
备机	192.168.56.104	GRP1_RW_02
确认监视器	192.168.56.105	确认监视器

端口规划在这里插入图片描述 3、主备库准备

初始化主库
./dminit path=/dm8/data
备份主库(disql命令行中热备)
BACKUP DATABASE BACKUPSET '/dm8/data/BACKUP_FOR_DW';
将备份文件复制到备机中，利用rman进行还原
./dmrman CTLSTMT="RESTORE DATABASE '/dm8/data/DAMENG/dm.ini' FROM BACKUPSET '/dm8/data/BACKUP_FOR_DW'"
./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DAMENG/dm.ini' FROM BACKUPSET '/dm8/data/BACKUP_FOR_DW'"
./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DAMENG/dm.ini' UPDATE DB_MAGIC"

4、修改主备库配置文件

主库：
[dmdba@dwp DAMENG]$ vi /dm8/data/DAMENG/dm.ini 
INSTANCE_NAME = GRP1_RW_01
PORT_NUM = 5236                   #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60        #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0             #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2             #不允许备库OFFLINE表空间
MAL_INI = 1                         #打开MAL系统
ARCH_INI = 1                        #打开归档配置
RLOG_SEND_APPLY_MON = 64          #统计最近64次的日志发送信息

备库：

[dmdba@dws DAMENG]$ vi /dm8/data/DAMENG/dm.ini
INSTANCE_NAME = GRP1_RW_02
PORT_NUM = 5236                   #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60        #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0             #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2             #不允许备库OFFLINE表空间
MAL_INI = 1                         #打开MAL系统
ARCH_INI = 1                        #打开归档配置
RLOG_SEND_APPLY_MON = 64          #统计最近64次的日志发送信息

6.修改主备库dmmal.ini文件配置 MAL 系统，各主备库的 dmmal.ini 配置必须完全一致，MAL_HOST 使用内部网络IP，MAL_PORT 与 dm.ini 中 PORT_NUM 使用不同的端口值，MAL_DW_PORT 是各实例对应的守护进程之间，以及守护进程和监视器之间的通信端口，配置如下：

vi /dm8/data/DAMENG/dmmal.ini

MAL_CHECK_INTERVAL = 5
MAL_CONN_FAIL_INTERVAL = 5
[MAL_INST1]
 MAL_INST_NAME = GRP1_RW_01
 MAL_HOST = 10.0.3.103
 MAL_PORT = 5238
 MAL_INST_PORT = 5236
 MAL_INST_HOST = 192.168.56.103
 MAL_DW_PORT = 5239
 MAL_INST_DW_PORT = 5237
[MAL_INST2]
 MAL_INST_NAME = GRP1_RW_02
 MAL_HOST = 10.0.3.104
 MAL_PORT = 5238
 MAL_INST_PORT = 5236
 MAL_INST_HOST = 192.168.56.104
 MAL_DW_PORT = 5239
 MAL_INST_DW_PORT = 5237

7.配置 dmarch.ini 修改 dmarch.ini，配置本地归档和实时归档。主库：

vi /dm8/data/DAMENG/dmarch.ini
 
[ARCHIVE_TIMELY1]
ARCH_TYPE = REALTIME
ARCH_DEST = GRP1_RW_02

[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL
ARCH_DEST = /dm8/data/DAMENG/arch
ARCH_FILE_SIZE = 128
ARCH_SPACE_LIMIT = 0

备库：

vi /dm8/data/DAMENG/dmarch.ini 
[ARCHIVE_TIMELY1]
ARCH_TYPE = REALTIME
ARCH_DEST = GRP1_RW_01
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL
ARCH_DEST = /dm8/data/DAMENG/arch
ARCH_FILE_SIZE = 128
ARCH_SPACE_LIMIT = 0

8、配置 dmwatcher.ini 修改 dmwatcher.ini 配置守护进程，配置为全局守护类型，使用自动切换模式。主库：

[GRP1]
 DW_TYPE = GLOBAL
 DW_MODE = AUTO
 DW_ERROR_TIME = 10
 INST_RECOVER_TIME = 60
 INST_ERROR_TIME = 10
 INST_OGUID = 333555
 INST_INI = /dm8/data/DAMENG/dm.ini
 INST_AUTO_RESTART = 1
 INST_STARTUP_CMD = /dm8/bin/dmserver
 RLOG_SEND_THRESHOLD = 0
 RLOG_APPLY_THRESHOLD = 0

备库：

[GRP1]
 DW_TYPE = GLOBAL
 DW_MODE = AUTO
 DW_ERROR_TIME = 10
 INST_RECOVER_TIME = 60
 INST_ERROR_TIME = 10
 INST_OGUID = 333555
 INST_INI = /dm8/data/DAMENG/dm.ini
 INST_AUTO_RESTART = 1
 INST_STARTUP_CMD = /dm8/bin/dmserver
 RLOG_SEND_THRESHOLD = 0
 RLOG_APPLY_THRESHOLD = 0

9、配置监视器由于主库和实时备库的守护进程配置为自动切换模式，因此这里选择配置确认监视器。和普通监视器相比，确认监视器除了相同的命令支持外，在主库发生故障时，能够自动通知实时备库接管为新的主库，具有自动故障处理的功能。

vi /dm8/data/DAMENG/dmmonitor.ini
MON_DW_CONFIRM = 1
MON_LOG_PATH = /dm8/data/log
MON_LOG_INTERVAL = 60
MON_LOG_FILE_SIZE = 32
MON_LOG_SPACE_LIMIT = 0
[GRP1]
MON_INST_OGUID = 333555
MON_DW_IP = 10.0.3.103:5239
MON_DW_IP = 10.0.3.104:5239

10.启动主备库，修改库模式在mount 方式启动主库和备库

./dmserver /dm8/data/DAMENG/dm.ini mount
登录主库和备库并修改以下参数
SQL> SP_SET_PARA_VALUE(1,'ALTER_MODE_STATUS',1);
DMSQL executed successfully
used time: 4.841(ms). Execute id is 1.
SQL> sp_set_oguid(333555);
DMSQL executed successfully
used time: 8.961(ms). Execute id is 2.
SQL> alter database standby;     -------主库则为primary
executed successfully
used time: 2.144(ms). Execute id is 0.
SQL> SP_SET_PARA_VALUE(1,'ALTER_MODE_STATUS',0);
DMSQL executed successfully
used time: 3.567(ms). Execute id is 3.

11、启动主备库及监视器

/dm8/bin/dmwatcher /dm8/data/DAMENG/dmwatcher.ini 
/dm8/bin/dmmonitor /dm8/data/DAMENG/dmmonitor.ini

主库守护进程输出信息在这里插入图片描述备库守护进程输出信息监视器输出信息

show
2021-03-09 15:24:38 
#================================================================================#
GROUP            OGUID       MON_CONFIRM     MODE            MPP_FLAG  
GRP1             333555      TRUE            AUTO            FALSE     


<<DATABASE GLOBAL INFO:>>
IP              MAL_DW_PORT  WTIME                WTYPE     WCTLSTAT  WSTATUS        INAME            INST_OK   N_EP  N_OK  ISTATUS     IMODE     DSC_STATUS     RTYPE     RSTAT    
10.0.3.103      5239         2021-03-09 15:24:37  GLOBAL    VALID     OPEN           GRP1_RW_01       OK        1     1     OPEN        PRIMARY   DSC_OPEN       REALTIME  VALID    

EP INFO:
INST_PORT  INST_OK   INAME            ISTATUS     IMODE     DSC_SEQNO  DSC_CTL_NODE RTYPE     RSTAT    FSEQ            FLSN            CSEQ            CLSN            DW_STAT_FLAG          
5236       OK        GRP1_RW_01       OPEN        PRIMARY   0          0            REALTIME  VALID    5382            53870           5382            53870           NONE                  

<<DATABASE GLOBAL INFO:>>
IP              MAL_DW_PORT  WTIME                WTYPE     WCTLSTAT  WSTATUS        INAME            INST_OK   N_EP  N_OK  ISTATUS     IMODE     DSC_STATUS     RTYPE     RSTAT    
10.0.3.104      5239         2021-03-09 15:24:38  GLOBAL    VALID     OPEN           GRP1_RW_02       OK        1     1     OPEN        STANDBY   DSC_OPEN       REALTIME  VALID    

EP INFO:
INST_PORT  INST_OK   INAME            ISTATUS     IMODE     DSC_SEQNO  DSC_CTL_NODE RTYPE     RSTAT    FSEQ            FLSN            CSEQ            CLSN            DW_STAT_FLAG          
5236       OK        GRP1_RW_02       OPEN        STANDBY   0          0            REALTIME  VALID    5366            53870           5366            53870           NONE                  

DATABASE(GRP1_RW_02) APPLY INFO FROM (GRP1_RW_01):
DSC_SEQNO[0], (ASEQ, SSEQ, KSEQ)[5382, 5382, 5382], (ALSN, SLSN, KLSN)[53870, 53870, 53870], N_TSK[0], TSK_MEM_USE[0]

在这里插入图片描述

三、数据同步测试

在主库上建立测试表，插入数据并提交。

[dmdba@dwp bin]$ rlwrap ./disql sysdba/dameng123

Server[LOCALHOST:5236]:mode is primary, state is open
login used time: 5.960(ms)
disql V8
SQL> create table test_dw(id int, name varch(20));
create table test_dw(id int, name varch(20));
[-3719]:Error in line: 1
Invalid base class name[VARCH].
used time: 11.927(ms). Execute id is 0.
SQL> create table test_dw(id int, name varchar(20));
executed successfully
used time: 31.005(ms). Execute id is 4.
SQL> insert into test_dw values(1, 'xiaoli');
affect rows 1

used time: 1.885(ms). Execute id is 5.
SQL> insert into test_dw values(2, 'xiaowang');
affect rows 1

used time: 0.294(ms). Execute id is 6.
SQL> insert into test_dw values(2, 'xiaozhang');
affect rows 1

used time: 0.414(ms). Execute id is 7.
SQL> commit;
executed successfully
used time: 3.159(ms). Execute id is 8.
SQL> select * from test_dw;

LINEID     ID          NAME     
---------- ----------- ---------
1          1           xiaoli
2          2           xiaowang
3          2           xiaozhang

used time: 1.890(ms). Execute id is 9.