一、场景描述
20220120 15:50左右发布(发布单), dba采用rename方式变更表结构,导致变更时刻点,表名称和topic无法匹配上,导致canal爆找不到topic的错误,然后canal陷入死循环一直投递那个时刻点的日志(此现象已经在测试环境复现).
//期望变更sql
ALTER TABLE `ms_member_pay_order`
ADD COLUMN `recycle_amount` decimal(12,2) DEFAULT NULL COMMENT '作废的余额金额',
ADD COLUMN `recycle_rebate_amount` decimal(12,2) DEFAULT NULL COMMENT '作废的奖励金金额',
ADD COLUMN `refund_by` varchar(32) DEFAULT NULL COMMENT '退款操作人',
ADD COLUMN `refund_date` datetime DEFAULT NULL COMMENT '退款操作时间';
//实际变更方式
//dba 为了大表变更,先创建新表,然后rname的方式变更成目标表
rename /* gh-ost */ table `membership`.`ms_member_pay_order` to `membership`.`_ms_member_pay_order_del`, `membership`.`_ms_member_pay_order_gho` to `membership`.`ms_member_pay_order`
二、原因分析
2.1、canal表与rocketMq topic投递规则
目前canal表和rocketMq topic投递规则是,一个topic对应一类表.如果新增表不在匹配规则范围内,canal是无法发现新增表的.
?
2.2、dba变更表导致新表无法匹配到topic
下面变更表的方式导致,变更新表的消息无法匹配到topic,然后canal会报找不到topic的错误.
//dba 为了大表变更,先创建新表,然后rname的方式变更成目标表
rename /* gh-ost */ table `membership`.`ms_member_pay_order` to `membership`.`_ms_member_pay_order_del`, `membership`.`_ms_member_pay_order_gho` to `membership`.`ms_member_pay_order`
2.3、在2.2的基础上如果在有新的binlog日志canal将陷入死循环
此时canal爆找不到topic的错误,如果此时在有表insert、update等,canal陷入死循环,一直投递这些重复的消息.
上图测试环境rocketMq 1分钟左右,投递了500页消息.
?
三、如何解决
3.1、创建默认的topic
在rocketMq上创建默认的topic,出现找不到topic的时候投递到默认topic.这样就不会触发找不到topic的异常.
rocketmq.producer.group = canal_binlog
3.2、这样做的风险
程序如果配置配置错误,会导致消息都透底到默认topic上面. 不过发布后检查下配置及默认topci,这个问题就可以避免.