canal集成MYSQL和ES
主机规划
主机1 MySQL环境5.7.24 26 30 10.0.0.11
主机2 Canal1.1.4 Server Client ES 10.0.0.50
软件github上使用阿里云可能因为国内很慢，我们可以先下载到本地
yum install -y lrzsz 工具本地Windows下的内容Linux虚拟机中
Canal的架构模式
Canal是利用binlog日志来做数据同步，canal伪装成从节点从主节点dump binlog日志，所以canal分为server和client，server负责dump binlog日志，client负责处理binlog日志（比如入库）。
canal
下载
下载地址
上传Canal1.1.4 服务端 客户端
检查一下系统中是否有Java环境
下载和解压
tar -zxvf cancal.deployer-1.1.4.tar.gz
服务端的
客户端的
服务端配置
cd /usr/local/canal.deployer/conf/example
vim instance.properties
1.修改mysql服务器ip地址
2.mysql主机操作
服务端的配置并配置MySQL 5.7.26
创建canal用户并且给它设置成具有从库的权限/刷新
CREATE USER canal IDENTIFIED BY 'canal' ;
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'canal' @ '%' ;
FLUSH PRIVILEGES;
创建一个测试用的数据库
CREATE DATABASE mytest;
use mytest;
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
创建一个表
-- Table structure for user
DROP TABLE IF EXISTS user ;
CREATE TABLE ````user```(
```id bigint (255) NOT` `NULL` `AUTO_INCREMENT,
`````name```varchar (255) CHARACTER SET utf8mb4 COLLATE`
`utf8mb4_general_ci NULL DEFAULT NULL ,
```role_id` bigint (20) NULL DEFAULT NULL ,
```c_time` datetime(0) NULL DEFAULT NULL , PRIMARY KEY ( id ) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 6 CHARACTER` `SET` `= latin1 COLLATE =
latin1_swedish_ci ROW_FORMAT = Dynamic ;
启动cancal
cd /usr/local/canal.deployer/bin
sh startup.sh
看效果
cd /usr/local/canal.deployer/logs/canal
tail -f canal.log
客户端配置
cd /usr/local/canal.dapter/conf
vim application.yml
配置mysql
配置es
启动
sh startup.sh
这里我们使用MySQL中mytest的数据库
mysql -u root -p
shop这张表进行测试
id name tags
insert into shop（id ,name,tags）values(“xx”,“3”,“3”);
es
es下载6.5.0
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-6-0
需要使用非ES得用户运行程序，不能使用root用户
useradd elasticsearch
配置
上面写了cluster.name写了P8，这里也写P8
这里数据地址 和 日志的地址 根据自己的需要进行配置
IP地址的地方0.0.0.0/或者内网的IP地址
启动
授权访问
chown -R elasticsearch ./elasticsearch
切换用户
su elasticsearch
到bin目录中
./elasticsearch
安全组的端口一定要都打开9200 9300 8081 11111 等这些端口一定要打开。
验证
启动服务的顺序ES+Kibanna
ES /usr/local/elasticsearch/elasticsearch-6.5.0/bin 执行时注意su elasticsearch 然后执 行./elasticsearch
Kibanna /usr/local/kibana/kibana-6.5.0-linux-x86_64/bin 执行./kibana
MySQL systemctl restart mysqld
服务端 /usr/local/canal.deployer/bin sh stop.sh关闭服务 sh startup.sh开启
客户端 /usr/local/canal.adapter/bin sh stop.sh关闭服务 sh startup.sh开启
需要下载个kibanna
kibana
启动后,端口5601
insert into shop (id,name,tags) values(“xxx”，“xxx”，“xx”);
回车以后
看客户端的日志
cd /usr/local/canal.adapter/logs/adapter
tail -f adapter.log