Canal简介
当遇到异地数据异构的时候，对于Mysql来说，Canal是基于数据库的日志解析，获取增量变更进行同步，提供增量数据订阅&消费的中间件。
Canal 主要支持了 MySQL 的 Binlog 解析，解析完成后才利用 Canal Client 来处理获得的相关数据。
MySQL binlog
MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和 DML(除 了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。
一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:
- ：MySQL Replication 在 Master 端开启 Binlog，Master 把它的二进制日志传递给 Slaves来达到 Master-Slave 数据一致的目的。
- 数据恢复可以通过使用 MySQL Binlog 工具来使恢复数据。
二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有 的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。
Binlog分类
MySQL Binlog 的格式有三种，分别是 STATEMENT,MIXED,ROW。在配置文件中可以选择配 置 binlog_format= statement|mixed|row。三种格式的区别：
- statement：语句级，binlog 会记录每次一执行写操作的语句。相对 row 模式节省空 间，但是可能产生不一致性，比如“update tt set create_date=now()”， 如果用 binlog 日志 进行恢复，由于执行时间不同可能产生的数据就不同。：
**优点：**节省空间。
**缺点：**有可能造成数据不一致。 - row：行级， binlog 会记录每次操作后每行记录的变化。
**优点：**保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。
**缺点：**占用较大空间。 - mixed：statement 的升级版，一定程度上解决了，因为一些情况而造成的 statement
模式不一致问题，默认还是 statement，在某些情况下譬如：当函数中包含 UUID() 时；包含 AUTO_INCREMENT 字段的表被更新时；执行 INSERT DELAYED 语句时；用 UDF【一种高效创建函数的方式】 时；会按照 ROW 的方式进行处理
**优点：**节省空间，同时兼顾了一定的一致性。
**缺点：**还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对binlog 的监控的情况都不方便。
综合上面对比，Canal 想做监控分析，选择 row 格式比较合适。
Canal 的工作原理
MySQL 主从复制过程
- Master 主库将改变记录，写到二进制日志(Binary Log)中；
- Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷贝到它的中继日志(relay log)；
- Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。
所以Canal 的工作原理就是把自己伪装成 Slave，假装从 Master 复制数据。
使用场景
- Otter中间件
Otter 是阿里用于进行异地数据库之间的同步框架，Canal 是其中一部分。
- 缓存更新
- 抓取业务表的新增变化数据，用于制作实时统计
Canal实战
- 修改Mysql配置my.cnf 并重启
server-id=1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=test
binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库，如果不配置则表示所有数据库均开启 Binlog
2. 测试 Binlog 是否开启: 往test表中插入一条数据之后查看mysql数据目录下是否有binlog文件【如：mysql-bin.000001】
3. 授权复制账号
mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;
4.下载解压Canal.deployer.xxx
5. 修改 canal.properties 的配置
canal.id = 1
canal.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
canal.zkServers =
#flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
#tcp, kafka, RocketMQ
canal.serverMode = tcp
#flush meta cursor/parse position to file
这个文件是 canal 的基本通用配置，canal 端口号默认就是 11111，修改 canal 的 输出 model，默认 tcp，也改为输出到 kafka
多实例配置如果创建多个实例，通过前面 canal 架构，我们可以知道，一个 canal 服务中可以有多个 instance，conf/下的每一个 example 即是一个实例，每个实例下面都有独立的 配置文件。默认只有一个实例 example，如果需要多个实例处理不同的 MySQL 数据的话，直接拷贝出多个 example，并对其重新命名，命名和配置文件中指定的名称一致，然后修改canal.properties 中的 canal.destinations=实例 1，实例 2，实例 3。
canal.destinations = example
6.修改 instance.properties
我 们 这 里 只 读 取 一 个 MySQL 数 据 ， 所 以 只 有 一 个 实 例 ， 这 个 实 例 的 配 置 文 件 在 conf/example 目录下
$ cd /opt/module/canal/conf/example
$ vi instance.properties
canal.instance.mysql.slaveId=2
#enable gtid use true/false
canal.instance.gtidon=false
#position info
canal.instance.master.address=127.0.0.1:3306
配置连接 MySQL 的用户名和密码，默认就是我们前面授权的 canal
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
canal.instance.defaultDatabaseName =test
#enable druid Decrypt database password
canal.instance.enableDruid=false
7.测试
//获取 canal 连接对象
CanalConnector canalConnector=CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111), "example", "", "");
while (true) {
//2.获取连接
canalConnector.connect();
//3.指定要监控的数据库
canalConnector.subscribe("test.*");
//4.获取 Message
Message message = canalConnector.get(100);
List<CanalEntry.Entry> entries = message.getEntries();
if (entries.size() <= 0) {
System.out.println("没有数据，休息一会");
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
} else {
for (CanalEntry.Entry entry : entries) {
//获取表名
String tableName=entry.getHeader().getTableName();
//Entry 类型
CanalEntry.EntryType entryType = entry.getEntryType();
//判断 entryType 是否为 ROWDATA
if(CanalEntry.EntryType.ROWDATA.equals(entryType)){
//序列化数据
ByteString storeValue = entry.getStoreValue();
//反序列化数据
CanalEntry.RowChange rowChange=CanalEntry.RowChange.parseFrom(storeValue);
//获取事件类型
CanalEntry.EventType eventType=rowChange.getEventType();
//获取具体的数据
List<CanalEntry.RowData> rowDatasList=rowChange.getRowDatasList();
// 遍历并打印数据
for (CanalEntry.RowData rowData : rowDatasList){
List<CanalEntry.Column> beforeColumnsList =rowData.getBeforeColumnsList();
JSONObject beforeData = new JSONObject();
for(CanalEntry.Column column:beforeColumnsList){
beforeData.put(column.getName(), column.getValue());
JSONObject afterData = new JSONObject();
List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
for(CanalEntry.Column column:afterColumnsList){
afterData.put(column.getName(), column.getValue());
}
}
}
}
}
}
}