IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> mysql双主之keepalived -> 正文阅读

[大数据]mysql双主之keepalived

生产环境中一台mysql主机存在单点故障,所以我们要确保mysql的高可用性,即两台MySQL服务器如果其中有 一台MySQL服务器挂掉后,另外一台能立马接替其进行工作。 MySQL的高可用方案一般有如下几种: keepalived+双主,MHA,PXC,MMM,Heartbeat+DRBD等,比较常用的是keepalived+双主,MHA和PXC。 本节主要介绍了利用 keepalived 实现 MySQL 数据库的高可用。 Keepalived+mysql双主来实现MySQL-HA,我 们必须保证两台MySQL数据库的数据完全一样,基本思路是两台MySQL互为主从关系,通过Keepalived配置虚 拟IP,实现当其中的一台MySQL数据库宕机后,应用能够自动切换到另外一台MySQL数据库,保证系统的高可 用。

一、配置两台MySQL主主同步

该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前,master在二日志记录这些改 变。MySQL将事务写入二进制日志。在事件写入二进制日志完成后,master通知存储引擎提交事务。 下一步就 是slave将master的binary log拷贝到它自己的中继日志。首先,slave开始一个工作线程——I/O线程。I/O线程 在master上打开一个普通的连接,然后开始binlog dump process。Binlog dump process从master的二进制日 志中读取事件,如果已经同步了master,它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日 志。 SQL slave thread(SQL从线程)处理该过程的最后一步。SQL线程从中继日志读取事件,并重放其中的事 件而更新slave的数据,使其与master中的数据一致。只要该线程与I/O线程保持一致,中继日志通常会位于OS 的缓存中,所以中继日志的开销很小。 主主同步就是两台机器互为主的关系,在任何一台机器上写入都会同 步。 若mysql主机开启了防火墙,需要关闭防火墙或创建规则。 1、修改MySQL配置文件 两台MySQL均要开启 binlog日志功能,开启方法:在MySQL配置文件[MySQLd]段中加上log-bin=MySQL-bin选项,两台MySQL的 server-ID不能一样,默认情况下两台MySQL的serverID都是1,需将其中一台修改为2即可。 master1中有关复 制的配置如下:

log-bin = mysql-bin 
binlog_format = mixed
server-id = 1
relay-log = relay-bin
relay-log-index = slave-relay-bin.index
auto-increment-increment = 2
auto-increment-offset = 1

?master2中有关复制的配置如下:

log-bin = mysql-bin
binlog_format = mixed
server-id = 2
relay-log = relay-bin
relay-log-index = slave-relay-bin.index
auto-increment-increment = 2
auto-increment-offset = 2

注:master1和master2只有server-id不同和 auto-increment-offset不同。

mysql中有自增长字段,在做数据库的主主同步时需要设置自增长的两个相关配置:auto_increment_offset和 auto_increment_increment。 auto-increment-increment表示自增长字段每次递增的量,其默认值是1。它的值 应设为整个结构中服务器的总数,本案例用到两台服务器,所以值设为2。 auto-increment-offset是用来设定数 据库中自动增长的起点(即初始值),因为这两能服务器都设定了一次自动增长值2,所以它们的起点必须得不 同,这样才能避免两台服务器数据同步时出现主键冲突,

将master1设为master2的主服务器 在master1主机上创建授权账户,允许master2(192.168.1.102)主机上 连接

mysql> grant replication slave on *.* to rep@'192.168.56.%' identified by '123';
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

查看master1的当前binlog状态信息?

?在master2上将master1设为自已的主服务器并开启slave功能

change master to
master_host='192.168.56.100',
master_user='rep',
master_password='123',
master_log_file='mysql-bin.000001',
master_log_pos=609;

?设置防火墙:#iptables I INPUT –p tcp –dport 3306 –j ACCEPT #service iptables save

查看从的状态,mysql>show slave status\G;以下两个值必须为yes,代表从服务器能正常连接主服务器

将master2设为master1的主服务器 在master2主机上创建授权账户,允许在master1(192.168.1.101)主机上 连接

mysql> grant replication slave on *.* to rep@'192.168.56.%' identified by '123';
Query OK, 0 rows affected, 1 warning (0.01 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

??查看master2的当前binlog状态信息

?在master1上将master2设为自已的主服务器并开启slave功能。

change master to
master_host='192.168.56.200',
master_user='rep',
master_password='123',
master_log_file='mysql-bin.000001',
master_log_pos=609; 

?设置防火墙:

firewall-cmd --add-port=3306/tcp

查看从的状态,以下两个值必须为yes,代表从服务器能正常连接主服务器

?测试主主同步 在master1上创建要同步的数据库如test_db,并在test_db中创建一张测试表如tab1

mysql> use test_db;
Database changed
mysql> create table tab1(id int,name varchar(30));
Query OK, 0 rows affected (0.01 sec)

查看master2主机是否同步了master1上的数据变化

?从上图可以看出master2同步了master的数据变化 在master2主机上向tab1表中插入数据

?

?查看master1主机是否同步了master2上的数据变化

现在任何一台MySQL上更新数据都会同步到另一台MySQL,MySQL同步完成。

?下面我们就完成keepalived的高可用性。 keepalived是集群管理中保证集群高可用的一个软件解决方案,其功 能类似于heartbeat,用来防止单点故障 keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。 虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即 将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个 对外提供服务的vip,master会发组播(组播地址为224.0.0.18),当backup收不到vrrp包时就认为master宕掉 了,这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。 keepalived主要有三个模块,分别是core 、check和vrrp。core模块为keepalived的核心,负责主进程的启动、 维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。vrrp模块是来实现 VRRP协议的。

keepalived的安装配置 1、在master1和master2上安装软件包keepalived 安装keepalived软件包与服务控制 在编译安装Keepalived之前,必须先安装内核开发包kernel-devel以及openssl-devel、popt-devel等支持库。

wget https://www.keepalived.org/software/keepalived-2.0.20.tar.gz
yum install kernel-devel openssl-devel popt-devel

若没有安装则通过rpm或yum工具进行安装 编译安装Keepalived?

?注意:如不知道keepalived需要哪些依赖包,可到下载后的源码解压目录下查看INSTALL 文件内容, 执行make install操作之后,会自动生成/etc/init.d/keepalived脚本文件,但还需要手动添加为系统服务,这样就可以使用 service、chkconfig工具来对keepalived服务程序进行管理了。 Master2主机也完成keepalived安装,与master1一样,安装过程略 注:若开启了防火墙,需要关闭防火墙或创 建规则。 创建防火墙规则:

# firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --in-interface
enp0s3 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
# firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface
enp0s3 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
# firewall-cmd --reload 

修改Keepalived的配置文件 keepalived只有一个配置文件keepalived.conf,里面主要包括以下几个配置区 域,分别是global_defs、vrrp_instance和virtual_server。 global_defs:主要是配置故障发生时的通知对象以及 机器标识。 vrrp_instance:用来定义对外提供服务的VIP区域及其相关属性。 virtual_server:虚拟服务器定义 master1主机上的keepalived.conf文件的修改:

vi /etc/keepalived/keepalived.conf:
! Configuration File for keepalived //!表示注释
global_defs {
 router_id MYSQL-1 //表示运行keepalived服务器的一个标识
}
vrrp_instance VI_1 {
 state BACKUP //指定keepalived的角色, 两台配置此处均是BACKUP,设为BACKUP将根据优
先级决定主或从
 interface eth0 //指定HA监测网络的接口
 virtual_router_id 51 //虚拟路由标识,这个标识是一个数字(取值在0-255之间,用来区分
多个instance的VRRP组播),同一个vrrp实例使用唯一的标识,确保和master2相同,同网内不同集群
此项必须不同,否则发生冲突。
 priority 100 //用来选举master的,要成为master,该项取值范围是1-255(在此范围之外
会被识别成默认值100),此处master2上设置为50
 advert_int 1 //发VRRP包的时间间隔,即多久进行一次master选举(可以认为是健康查检时
间间隔)
 nopreempt //不抢占,即允许一个priority比较低的节点作为master,即使有priority更
高的节点启动
 authentication { //认证区域,认证类型有PASS和HA(IPSEC),推荐使用PASS(密码只识
别前8位)
 auth_type PASS
 auth_pass 1111
 }
 virtual_ipaddress { //VIP区域,指定vip地址
 192.168.1.100
 }
}
virtual_server 192.168.1.100 3306 { //设置虚拟服务器,需要指定虚拟IP地址和服务端
口,IP与端口之间用空格隔开
 delay_loop 2 //设置运行情况检查时间,单位是秒
 lb_algo rr //设置后端调度算法,这里设置为rr,即轮询算法
 lb_kind DR //设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
 persistence_timeout 60 //会话保持时间,单位是秒。这个选项对动态网页是非常有用的,
为集群系统中的session共享提供了一个很好的解决方案。有了这个会话保持功能,用户的请求会被一
直分发到某个服务节点,直到超过这个会话的保持时间。
 protocol TCP //指定转发协议类型,有TCP和UDP两种
 real_server 192.168.1.101 3306 { //配置服务节点1,需要指定real server的真实IP
地址和端口,IP与端口之间用空格隔开
注:master 2上此处改为192.168.1.102(即master2本机ip)
 weight 3 //配置服务节点的权值,权值大小用数字表示,数字越大,权值越高,设置权
值大小为了区分不同性能的服务器
 notify_down /etc/keepalived/bin/mysql.sh //检测到realserver的mysql服务down
后执行的脚本
 TCP_CHECK {
 connect_timeout 3 //连接超时时间
 nb_get_retry 3 //重连次数
 delay_before_retry 3 //重连间隔时间
 connect_port 3306 //健康检查端口
 }
 }
}

master1主机上有关keepalived.conf文件的具体配置如下:

! Configuration File for keepalived
global_defs {
 router_id mysql-1
}
vrrp_instance VI_1 {
 state BACKUP
 interface eno16777736
 virtual_router_id 51
 nopreempt
 priority 100
 advert_int 1
 authentication {
 auth_type PASS
 auth_pass 1111
 }
 virtual_ipaddress {
 192.168.164.100
 }
}
virtual_server 192.168.164.100 3306 {
 delay_loop 6
 lb_algo rr
 lb_kind DR
 persistence_timeout 50
 protocol TCP
 real_server 192.168.164.10 3306 {
 weight 1
 notify_down /etc/keepalived/bin/mysql.sh
 TCP_CHECK {
 connect_port 3306
 connect_timeout 3
 retry 3
 delay_before_retry 3
 }
 }
}

启动keepalived 服务

systemctl start keepalived

Master2主机上的keepalived.conf文件的修改: 可以使用scp命令把server1主机上配置好的keepalived.conf文件 拷贝到server2主机,只要做简单修改即可,如下图所示:

! Configuration File for keepalived
global_defs {
 router_id mysql-2
}
vrrp_instance VI_1 {
 state BACKUP
 interface eno16777736
 virtual_router_id 51
 priority 50
 nopreempt
 advert_int 1
 authentication {
 auth_type PASS
 auth_pass 1111
 }
 virtual_ipaddress {
 192.168.164.100
 }
}
virtual_server 192.168.164.100 3306 {
 delay_loop 6
 lb_algo rr
 lb_kind DR
 persistence_timeout 50
 protocol TCP
 real_server 192.168.164.20 3306 {
 notify_down /etc/keepalived/bin/mysql.sh
 weight 1
 TCP_CHECK {
 connect_port 3306
 connect_timeout 3
 retry 3
 delay_before_retry 3
 }
 }
}

启动keepalived 服务

systemctl start keepalived

Master2主机完成相同的操作 4、测试 在master1和master2分别执行ip addr show dev eth0命令查看master1和 master2对VIP(群集虚拟IP)的控制权

?Master2主的查看结果: 从上图可以看出master1是主服务器,master2为备用服务器。 停止MySQL服务,看keepaliv ed健康检查程序是 否会触发我们编写的脚本 停止master1主机的mysql服务 Master2主的查看结果: 这说明在主服务上停止MySQL服务,触发了我们编写的脚本,进行自动故障切换。 MySQL远程登录测试 我们 找一台安装有MySQL客户端,然后登录VIP,看是否能登录,在登录之前两台MySQL服务器都要授权允许从远 程登录。例如: 在客户端上测试登录 上图显示说明在客户端访问VIP地址,由master1主机提供响应的,因为master1当前是主服务器,将master1的 mysql服务停止,在客户端执行show variables like ‘server_id’; 上图显示说明在客户端的查询请求是由master2主机响应的。故障切换成功。 总结: Keepalived+mysql双主一 般来说,中小型规模的时候,采用这种架构是最省事的。 在master节点发生故障后,利用keepalived的高可用 机制实现快速切换到备用节点。 在这个方案里,有几个需要注意的地方: 1.采用keepalived作为高可用方案 时,两个节点最好都设置成BACKUP模式,避免因为意外情况下(比如脑裂)相互抢占导致往两个节点写入相 同数据而引发冲突; 2.把两个节点的auto_increment_increment(自增步长)和auto_increment_offset(自增起 始值)设成不同值。其目的是为了避免master节点意外宕机时,可能会有部分binlog未能及时复制到slave上被 应用,从而会导致slave新写入数据的自增值和原先master上冲突了,因此一开始就使其错开;当然了,如果有 合适的容错机制能解决主从自增ID冲突的话,也可以不这么做; 3.slave节点服务器配置不要太差,否则更容易 导致复制延迟。作为热备节点的slave服务器,硬件配置不能低于master节点; 4.如果对延迟问题很敏感的话, 可考虑使用MariaDB分支版本,或者直接上线MySQL 5.7最新版本,利用多线程复制的方式可以很大程度降低复 制延迟

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-09 11:45:16  更:2021-12-09 11:45:29 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 10:27:24-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码