目录
零、前置操作
MySQL：? ? ?Linux安装MySQL，并使用Navicat连接
Zookeeper：Zookeeper - 本地安装与参数配置
?????????????????????Zookeeper - 集群搭建 + 群起集群脚本?
Kafka：????????Kafka + Zookeeper + Hadoop 集群配置
一、Canal 入门
1.什么是Canal
官网：GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件
canal [k?'n?l]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。Canal是用Java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用CanalClient来处理获得的相关数据。（数据库同步需要阿里的Otter中间件，基于Canal）。
2.MySQL 的 Binlog
什么是Binlog
MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。
一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:
? ? ? ? ? ? ? ? 1.MySQL Replication 在 Master 端开启 Binlog，Master 把它的二进制日志传递给 Slaves来达到 Master-Slave 数据一致的目的。
? ? ? ? ? ? ? ? 2.自然就是数据恢复了，通过使用 MySQL Binlog 工具来使恢复数据。
?二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。
Binlog 的分类
MySQLBinlog的格式有三种，分别是STATEMENT,MIXED,ROW。在配置文件中可以选择配置binlog_format=statement|mixed|row。三种格式的区别：
????????????????statement：语句级，binlog会记录每次一执行写操作的语句。相对row模式节省空间，但是可能产生不一致性，比如“updatettsetcreate_date=now()”，如果用binlog日志进行恢复，由于执行时间不同可能产生的数据就不同。
????????????????优点：节省空间。
????????????????缺点：有可能造成数据不一致。
????????????????row：行级，binlog会记录每次操作后每行记录的变化。
????????????????优点：保持数据的绝对一致性。因为不管sql是什么，引用了什么函数，他只记录执行后的效果。
????????????????缺点：占用较大空间。
????????????????mixed：statement的升级版，一定程度上解决了，因为一些情况而造成的statement模式不一致问题，默认还是statement，在某些情况下譬如：当函数中包含UUID()时；包含AUTO_INCREMENT字段的表被更新时；执行INSERTDELAYED语句时；用UDF时；会按照ROW的方式进行处理
????????????????优点：节省空间，同时兼顾了一定的一致性。
????????????????缺点：还有些极个别情况依旧会造成不一致，另外statement和mixed对于需要对binlog的监控的情况都不方便。
3.Canal 的工作原理
把自己伪装成 Slave ，然后从 Master 复制数据。
二、MySQL
创建数据库
创建表
CREATE TABLE user_info(
`id` VARCHAR(255),
`name` VARCHAR(255),
`sex` VARCHAR(255)
);
随便写点啥进去：
INSERT INTO user_info VALUES('1','van','man');开启Binlog
vim /etc/my.cnf
把以下内容添加进去：
server-id=1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=Testdb
保存退出后重启一下MySQL服务：
systemctl restart mysqld
三、Canal?
1.下载安装
下载：Releases · alibaba/canal · GitHub
这里我用的是1.1.2：
下载完成后直接扔到linux里面去：
注意：canal 解压后是分散的，我们在指定解压目录的时候需要将 canal 指定到目录：
mkdir -p /opt/module/canal
tar -zxvf canal.deployer-1.1.2.tar.gz -C /opt/module/canal/2.参数配置
cd /opt/module/canal/conf/vim canal.properties
我们需要把这里的 tcp 模式修改成 kafka 模式：
接着去修改kafka的集群地址：
canal.mq.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
?当然还有host文件需要配置一下（如果你是跟着之前的博客做过来的话可以忽略此步骤）：
vim /etc/hosts
将ip地址配置进去：?
继续：
cd /opt/module/canal/conf/example
vim instance.properties
将第一行解除注释，让给个值（不可为1）：
将这里修改成MySQL中的用户名和密码：?
然后这里随便给他一个主题，然后保存退出即可：
?然后启动一下：
./opt/module/canal/bin/startup.sh
四、测试
群启zk
zk.sh start
群启Kafka
kf.sh start
启动Canal
注意目录
./opt/module/canal/bin/startup.sh
启动 Kafka 消费客户端测试
./opt/module/kafka/bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic canal_test然后去数据库里随便搞点什么：
成功拿到数据！?