[大数据]DM8主备与读写分离集群

DM8主备与读写分离集群概念与搭建

1. 了解DM数据守护与读写分离的相关概念

1）、DM数据守护（Data Watch）

DM数据守护（Data Watch）是一种集成化的高可靠性解决方案，同时满足用户对数据安全性和高可用性的要求。

2）、实时主备

实时主备由一个主库以及一个或者多个配置了实时（Realtime）归档的备库组成，其主要目的是保障数据库可用性，提高数据安全性。

3）、MPP主备

MPP主备就是在MPP集群的基础上，为每一个MPP节点配置一套实时主备系统，这些实

时主备系统一起构成了MPP主备系统。

4）、读写分离集群

读写分离集群由一个主库以及一个或者多个配置了即时（Timely）归档或实时

（Realtime）归档的备库组成，其主要目标是在保障数据库可用性基础上，实现读、写操

作的自动分离，进一步提升数据库的业务支撑能力。

5）、归档介绍 [1]?

DM8读写分离集群严禁使用timely即时归档，要配置实时归档并且增加ARCH_WAIT-APPLY=1。

本地归档：Redo 日志本地归档（Local），就是将 Redo 日志写入到本地归档日志文件的过程。

远程归档：所谓远程归档（REMOTE ARCHIVE），顾名思义就是将归档目录配置在远程节点上。

（本地归档、实时归档和即时归档均包含两种状态：Valid 和 Invalid。

?? ? Valid 归档有效，正常执行各种数据库归档操作。

???? Invalid 归档无效，主数据库不发送联机 Redo 日志到备数据库。）

实时归档是实时主备数据同步的基础

实时归档：实时归档（Realtime）将主库产生的Redo 日志通过 MAL 系统传递到备库，实时归档是实时主备和 MPP 主备的实现基础。

即时归档：即时归档（Timely）在主库将 Redo 日志写入联机日志文件后，通过 MAL 系统将 Redo 日志发送到备库。即时归档与实时归档的主要区别是 Redo 日志的发送时机不同。

异步归档：异步归档（Async）由主、备库上配置的定时器触发，根据异步备库的 KEEP LSN 信息，扫描本地归档目录获取 Redo 日志，并通过 MAL 系统将 Redo 日志发送到异步备库。异步备库的 Redo 日志重演过程与实时归档等其他类型的归档完全一致。？[2]?

6）、MAL 系统

MAL 系统是基于 TCP 协议实现的一种内部通信机制，具有可靠、灵活、高效的特性。

DM 通过 MAL 系统实现 Redo 日志传输，以及其他一些实例间的消息通讯。

7）、OGUID

数据守护唯一标识码，配置数据守护时，需要由用户指定 OGUID 值。

（OGUID 的查询方式：SELECT OGUID FROM V$INSTANCE;）

同一守护进程组中的所有数据库、守护进程和监视器，都必须配置相同的 OGUID 值，

取值范围为

8）、永久魔数（PMNT_MAGIC）

永久魔数，用来唯一标识数据库，初始化数据库时生成并保持不变，数据守护集群中所有主备库的 PMNT_MAGIC 是相同的。

1. 搭建实时主备

1）、环境说明

1.1配置环境说明

查看IP （命令ip a）

1.2端口规划:

规划好各个端口

MAL_DW_PORT： 守护进程监听端口，其他守护进程或监视器使用 MAL_HOST + MAL_DW_PORT 创建 TCP连接。监视器配置文件 dmmonitor.ini 中，MON_DW_IP 就是一组 MAL_HOST: MAL_DW_PORT。

MAL_INST_DW_PORT：实例对守护进程的监听端口，守护进程使用 MAL_HOST + MAL_INST_DW_PORT 创建到实例的 TCP 连接。

2）、数据准备

对已经开好归档的主备库进行数据准备

1. 正常关闭数据库实例

2. 进行脱机备份

3．使用scp命令将主库备份文件传到备库

[dmdba@localhost data]$ scp -r /data/bak dmdba@192.168.163.161:/data/kkk

dmdba@192.168.163.161's password:

bak.bak?????????????????????????????????????????????????????????????????????????????????????? 100%?? 17MB? 49.3MB/s?? 00:00???

bak.meta?????????????????????????????????????????????????????????????????????????????????????????? 100%?? 77KB? 14.2MB/s?? 00:00???

4．在备库用传过来的文件进行还原。

3、搭建

3.1配置主库GRP1_RT_01

1）、修改dm.ini文件，设置以下参数

INSTANCE_NAME = GRP1_RT_01? #实例名，建议使用“组名_守护环境_序号”的命名方式，总长度不能超过 16

PORT_NUM = 32141??????????? #数据库实例监听端口，即对外端口，与 dmmal.ini 中 的 MAL_INST_PORT 对应

DW_INACTIVE_INTERVAL = 60? #接收守护进程消息超时时间

ALTER_MODE_STATUS = 0???? #不允许手动方式修改实例模式/状态/OGUID，

ENABLE_OFFLINE_TS = 2?????? #不允许备库 OFFLINE 表空间

MAL_INI = 1 ???????????????????????????? #打开 MAL 系统

ARCH_INI = 1 ?????????????????????????? #打开归档配置

RLOG_SEND_APPLY_MON = 64? #统计最近 64 次的日志发送信息

2）、修改dmmal.ini文件（注意，同一组内的所有机器dmmal.ini文件均一致）

MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔

MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间

[MAL_INST1]

MAL_INST_NAME = GRP1_RT_01 #实例名，和 dm.ini 中的 INSTANCE_NAME 一致 MAL_HOST = 192.168.163.160#MAL 系统监听 TCP 连接的 IP 地址

MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口

MAL_INST_HOST = 192.168.163.160 #实例的对外服务 IP 地址

MAL_INST_PORT = 32141 #实例的对外服务端口，和 dm.ini 中的 PORT_NUM 一致 MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端口 MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口

[MAL_INST2]

MAL_INST_NAME = GRP1_RT_02

MAL_HOST = 192.168.163.161

MAL_PORT = 61142

MAL_INST_HOST = 192.168.163.161

MAL_INST_PORT = 32142

MAL_DW_PORT = 52142

MAL_INST_DW_PORT = 33142

3）、修改dmarch.ini文件（实时归档到备库GRP1_RT_02）

[ARCHIVE_REALTIME]

ARCH_TYPE = REALTIME #实时归档类型

ARCH_DEST = GRP1_RT_02 #实时归档目标实例名

[ARCHIVE_LOCAL1]

ARCH_TYPE = LOCAL #本地归档类型

ARCH_DEST = /data/arch #本地归档文件存放路径

ARCH_FILE_SIZE = 128 #单位 Mb，本地单个归档文件最大值

ARCH_SPACE_LIMIT = 1024#单位 Mb，0 表示无限制，范围 1024~2147483647M

4)、配置 dmwatcher.ini(配置为全局守护类型，使用自动切换模式

[GRP1]

DW_TYPE = GLOBAL #全局守护类型

DW_MODE = AUTO #自动切换模式

DW_ERROR_TIME = 10 #远程守护进程故障认定时间

INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间

INST_ERROR_TIME = 10 #本地实例故障认定时间

INST_OGUID = 453331 #守护系统唯一 OGUID 值

INST_INI = /data/DAMENG/dm.ini #dm.ini 配置文件路径

INST_AUTO_RESTART = 1 #打开实例的自动启动功能

INST_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver #命令行方式启动

RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值，默认关闭

RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值，默认关闭

5)、启动主库实例

./dmserver? /data/DAMENG/dm.ini? mount

一定要以 Mount 方式启动数据库实例，否则系统启动时会重构回滚表空间，生 成 Redo 日志；并且，启动后应用可能连接到数据库实例进行操作，破坏主备 库的数据一致性。数据守护配置结束后，守护进程会自动 Open 数据库。

6）、设置OGUID

启动命令行工具 disql，登录主库设置 OGUID 值，登录主库修改数据库为 Primary 模式。

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);#开启修改权限

SQL>sp_set_oguid(453331);

SQL>alter database primary;

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);关闭修改权限

3.2配置备库GRP1_RT_02

1）、修改dm.ini文件，设置以下参数

INSTANCE_NAME = GRP1_RT_02? #实例名，建议使用“组名_守护环境_序号”的命名方式，总长度不能超过 16

PORT_NUM = 32142??????????? #数据库实例监听端口，即对外端口，与 dmmal.ini 中 的 MAL_INST_PORT 对应

DW_INACTIVE_INTERVAL = 60? #接收守护进程消息超时时间

ALTER_MODE_STATUS = 0???? #不允许手动方式修改实例模式/状态/OGUID，

ENABLE_OFFLINE_TS = 2?????? #不允许备库 OFFLINE 表空间

MAL_INI = 1 ???????????????????????????? #打开 MAL 系统

ARCH_INI = 1 ?????????????????????????? #打开归档配置

RLOG_SEND_APPLY_MON = 64? #统计最近 64 次的日志发送信息

2）、修改dmmal.ini文件（注意，同一组内的所有机器dmmal.ini文件均一致）

MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔

MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间

[MAL_INST1]

MAL_INST_NAME = GRP1_RT_01 #实例名，和 dm.ini 中的 INSTANCE_NAME 一致 MAL_HOST = 192.168.163.160#MAL 系统监听 TCP 连接的 IP 地址

MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端口

MAL_INST_HOST = 192.168.163.160 #实例的对外服务 IP 地址

MAL_INST_PORT = 32141 #实例的对外服务端口，和 dm.ini 中的 PORT_NUM 一致 MAL_DW_PORT = 52141 #实例本地的守护进程监听 TCP 连接的端口 MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端口

[MAL_INST2]

MAL_INST_NAME = GRP1_RT_02

MAL_HOST = 192.168.163.161

MAL_PORT = 61142

MAL_INST_HOST = 192.168.163.161

MAL_INST_PORT = 32142

MAL_DW_PORT = 52142

MAL_INST_DW_PORT = 33142

3）、修改dmarch.ini文件（实时归档到备库GRP1_RT_02）

当前实例 GRP1_RT_02 是备库，守护系统配置完成后，可能在各种故障处理中，GRP1_RT_02 切换为新的主库，正常情况下，GRP1_RT_01 会切换为新的备库，需要向GRP1_RT_01 同步数据，因此实时归档的 ARCH_DEST 配置为 GRP1_RT_01。

[ARCHIVE_REALTIME]

ARCH_TYPE = REALTIME #实时归档类型

ARCH_DEST = GRP1_RT_01 #实时归档目标实例名

[ARCHIVE_LOCAL1]

ARCH_TYPE = LOCAL #本地归档类型

ARCH_DEST = /data/arch #本地归档文件存放路径

ARCH_FILE_SIZE = 128 #单位 Mb，本地单个归档文件最大值

ARCH_SPACE_LIMIT = 1024#单位 Mb，0 表示无限制，范围 1024~2147483647M

4)、配置 dmwatcher.ini(配置为全局守护类型，使用自动切换模式

[GRP1]

DW_TYPE = GLOBAL #全局守护类型

DW_MODE = AUTO #自动切换模式

DW_ERROR_TIME = 10 #远程守护进程故障认定时间

INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间

INST_ERROR_TIME = 10 #本地实例故障认定时间

INST_OGUID = 453331 #守护系统唯一 OGUID 值

INST_INI = /data/DAMENG/dm.ini #dm.ini 配置文件路径

INST_AUTO_RESTART = 1 #打开实例的自动启动功能

INST_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver #命令行方式启动

RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值，默认关闭

RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值，默认关闭

5)、启动主库实例

./dmserver? /data/DAMENG/dm.ini? mount

一定要以 Mount 方式启动数据库实例，否则系统启动时会重构回滚表空间，生 成 Redo 日志；并且，启动后应用可能连接到数据库实例进行操作，破坏主备 库的数据一致性。数据守护配置结束后，守护进程会自动 Open 数据库。

6）、设置OGUID

启动命令行工具 disql，登录主库设置 OGUID 值，登录主库修改数据库为 Primary 模式。

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);#开启修改权限

SQL>sp_set_oguid(453331);

SQL>alter database primary;

SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);关闭修改权限

3.3配置监视器（单实例监视器）

监视器在一般情况下需要单独的服务器

修改dmmonitor.ini文件

MON_DW_CONFIRM = 1 #确认监视器模式

MON_LOG_PATH = /data/monlog #监视器日志文件存放路径

MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件

MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M

MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间

[GRP1]

MON_INST_OGUID = 453331 #组 GRP1 的唯一 OGUID 值

#以下配置为监视器到组 GRP1 的守护进程的连接信息，以―IP:PORT‖的形式配置

#IP 对应 dmmal.ini 中的 MAL_HOST，PORT 对应 dmmal.ini 中的 MAL_DW_PORT

MON_DW_IP = 192.168.163.160:52141

MON_DW_IP = 192.168.163.161:52142

4、启动并注册服务

4.1启动顺序

1）、先启动主库守护进程

./dmwatcher /data/DAMENG/dmwatcher.ini

2)、启动备库守护进程

./dmwatcher /data/DAMENG/dmwatcher.ini

3）、启动监视器

./dmmonitor /data/DAMENG/dmmonitor.ini

若正常启动且无报错，则可注册服务

关闭顺序：先关监视器à关备库守护进程à关主库守护进程à关主库实例服务à关备库实例服务

4.2注册服务

1）主库

./dm_service_installer.sh -t dmserver -m mount? -dm_ini /data/DAMENG/dm.ini -p GRP01

#注册已mount方式启动的服务

./dm_service_installer.sh -t dmwatcher -watcher_ini /data/DAMENG/dmwatcher.ini -p GRP01

#注册守护进程

2）备库

./dm_service_installer.sh -t dmserver -m mount? -dm_ini /data/DAMENG/dm.ini -p GRP02

#注册已mount方式启动的服务

./dm_service_installer.sh -t dmwatcher -watcher_ini /data/DAMENG/dmwatcher.ini -p GRP02

#注册守护进程

3）监视器

./dm_service_installer.sh -t dmmonitor -monitor_ini /data/DAMENG/dmmonitor.ini -p DMMONITOR

#注册监视器

5集群开关顺序

5.1打开顺序

./DmServiceGRP01? start #以mount方式启动主库实例

./DmServiceGRP02? start #以mount方式启动备库实例

./DmWatcherServiceGRP01? start #启动主库数据守护

./DmWatcherServiceGRP02? start #启动备库数据守护

./DmMonitorServiceGRP1? start #启动监视器

5.2关闭顺序

先关监视器 关备库守护进程 关主库守护进程 关主库实例服务 关备库实例服务