开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 系统运维 -> CL236配置IP故障转移--CTDB -> 正文阅读

[系统运维]CL236配置IP故障转移--CTDB

CL236配置IP故障转移–CTDB

本章节介绍如何配置IP故障转移。本章节学习CTDB，主要是为了解决NFS和Samba的高可用问题。

RHCA专栏地址：https://blog.csdn.net/qq_41765918/category_11532281.html

文章目录

CL236配置IP故障转移--CTDB

高可用集群NAS（此小节摘自刘爱贵教授文章）

诸如Glusterfs、Lustre、Ceph等集群文件系统，提供了统一命名空间、高性能、高可用、高扩展的非结构化数据解决方案。出于性能方面考虑，集群文件系统都设计了私有协议的客户端，通常是基于VFS或FUSE接口实现的与POSIX标准兼容的接口，但往往仅提供Linux/Unix系统客户端软件。对于Linux/Unix系统来说，只需要安装集群文件系统客户端内核模块或软件即可；而对于Windows/Mac等系统而言，因为没有客户端软件可用，就没法访问集群文件系统了。另外，一些特殊场合下，用户不希望在Linux/Unix/Windows/Mac系统上安装客户端软件，而是希望通过标准协议访问集群文件系统。因此，我们需要以集群文件系统为底层基础核心，构建使用标准协议访问的存储服务，目前主要就是使用NFS/CIFS标准协议的NAS。传统NAS系统具有单点性能瓶颈、扩展性差、应用规模和高负载支持有限等不足，无法满足大数据应用需求。集群NAS是一种横向扩展（Scale-out）存储架构，它协同多个节点（即通常所称的NAS机头）提供高性能、高可用或高负载均衡的NAS（NFS/CIFS）服务，具有容量和性能线性扩展的优势。

这里我们基于CTDB实现高可用集群NAS。CTDB是一种轻量级的集群数据库实现，基于它可以实现很多应用集群，目前CTDB支持Samba, NFS, HTTPD, VSFTPD, ISCSI, WINBIND应用，集群共享数据存储支持GPFS,GFS(2),Glusterfs, Luster, OCFS(2)。CTDB本身不是HA解决方案，但与集群文件系统相结合，它可以提供一种简便高效的HA集群解决方案。集群配置两组IP，Private IP用于heartbeat和集群内部通信，Public IP用于提供外部服务访问。Public IP动态在所有集群节点上分配，当有节点发生故障，CTDB将调度其他可用节点接管其原先分配的Public IP，故障节点恢复后，漂移的Public IP会重新被接管。这个过程对客户端是透明的，保证应用不会中断，也就是我们这里所说的高可用HA。

CTDB

cluster trivial database

针对客户端nfs、samba挂载时，实现IP failover，比如：挂载时指定的主机宕机了，实现自动切换。

glusterfs自身已经实现，所以不需要CTDB，CTDB是为了解决NFS和Samba的高可用问题。

**注意：**CTDB，要求所有节点的的主机名必须能解析

IP Failover原理类似于双网卡的bond、应用的负载IP。

1）通过ctdb实现vip访问卷

2）vip访问卷的方式：不适合分布式，只适用于复制式

3）在分布式环境中测试，同时创建多个文件时，由于glusterfs volume中故障节点的目录未删除，依然会往故障节点分布数据，然而节点已经故障无法写入，这时会报错，数据丢失。

配置ctdb

1. 装包

# yum install -y ctdb
#在所有节点安装ctdb
#装完包，配置文件在：/etc/ctdb/

2. 新建一个复制卷

作用：配置一个100M左右的小型复制卷，在卷内会生成一个0字节的锁文件，对虚拟IP进行锁定

# gluster volume create ctdb replica 3 \ 
node1:/brick/brick8/brick \ 
node2:/brick/brick8/brick \ 
node3:/brick/brick8/brick

#注意：这里先不要启动这个volume

3. 修改脚本

在这个volume启动之前，关闭之后，需要分别执行以下两个脚本：

/var/lib/glusterd/hooks/1/start/post/S29CTDBsetup.sh

/var/lib/glusterd/hooks/1/stop/pre/S29CTDB-teardown.sh

需要在所有节点作以下更改：

# vim /var/lib/glusterd/hooks/1/start/post/S29CTDBsetup.sh
META=ctdb   # 根据情况也可以写all，所有的卷

#默认，这个脚本，会在所有volume启动之前执行，这里指定只有ctdb这个volume启动的之前才执行

脚本执行的操作：

1）先挂载META这个变量指定的volume到本地的/gluster/lock（默认）目录

2）再在/etc/fstab写自动挂载条目

3）最后设置开机自启ctdb

# vim /var/lib/glusterd/hooks/1/stop/pre/S29CTDB-teardown.sh 
META=ctdb  # 根据情况也可以写all，所有的卷

4. 启动volume

# gluster volume start ctdb
#启动volume

5. 确认挂载

启动之后，在所有相关节点，确认上面start脚本所执行的动作已完成

# df -Th
node1:ctdb fuse.glusterfs 1021M   33M  988M   4% /gluster/lock
cat /etc/fstab
node1:/ctdb /gluster/lock glusterfs _netdev,defaults,transport=tcp,xlator-option=*client*.ping-timeout=10 0 0

注意：

1.必须所有相关节点都已经挂载，才可实现ip failover

2.如果没有挂载，在有问题节点检查上面的配置，然后先stop volume，再start volume

6. 配置虚拟IP

在所有使用NFS服务的节点创建/etc/ctdb/nodes文件，并在里面添加这些节点的IP到这个文件

# vim /etc/ctdb/nodes 
192.168.1.100 
192.168.1.101 
192.168.1.102 
192.168.1.103 
# scp /etc/ctdb/nodes root@node2:/etc/ctdb/ 
# scp /etc/ctdb/nodes root@node3:/etc/ctdb/ 
# scp /etc/ctdb/nodes root@node4:/etc/ctdb/

在所有需要做IP failover的NFS节点，创建/etc/ctdb/public_addresses这个文件，并在里面添加虚拟IP到这个文件，并指定这个IP附加到哪个网卡

# vim /etc/ctdb/public_addresses 
192.168.1.20/24 eth0 
# scp /etc/ctdb/public_addresses root@node2:/etc/ctdb
# scp /etc/ctdb/public_addresses root@node3:/etc/ctdb 
# scp /etc/ctdb/public_addresses root@node4:/etc/ctdb

7. 配置Samba

CTDB会管理samba服务，所以需要提前配置samba的配置文档，亦无需启动samba，此操作需要配置在所有节点中配置（若是先启动了ctdb，则创建密码的操作只需要在一个节点上执行，因为ctdb将此更改传播到所有节点），配置过程如下：

# useradd samba
# pdbedit -a -u samba 
或者 smbpasswd -a samba
# vim /etc/samba/smb.conf 
[global] 
clustering=yes 
idmap backend = tdb2 
private dir = /gluster/lock
# systemctl restart smb

8. 配置glusterfs

修改卷属性：
# gluster volume set ctdb stat-prefetch off 
# gluster volume set ctdb server.allow-insecure on 
# gluster volume set ctdb storage.batch-fsync-delay-usec 0

修改glusterfs服务属性：
# vim /etc/glusterfs/glusterd.vol 
option rpc-auth-allow-insecure on 

修改完后重启服务：
# systemctl restart glusterd

9. 配置ctdb（需要时）

在/etc/sysconfig/ctdb增加如下配置：

# vim /etc/sysconfig/ctdb 
CTDB_RECOVERY_LOCK=/gluster/lock/lockfile 
CTDB_PUBLIC_INTERFACE=eth0 
CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses 
CTDB_MANAGES_SAMBA=yes 
CTDB_SAMBA_SKIP_SHARE_CHECK=yes 
CTDB_MANAGES_NFS=no 
CTDB_MANAGES_WINBIND=no 
CTDB_NODES=/etc/ctdb/nodes 
CTDB_DEBUGLEVEL=ERR

若需要开通NFS服务，设置CTDB_MANAGES_NFS=yes即可

10. 启动ctdb服务

在所有节点启动ctdb服务

# systemctl start ctdb

客户端访问

注意：这时应该用虚拟IP挂载

NFS：

# mount -t nfs 192.168.1.20:/vol1 /mnt/vol1

Samba：

# yum install -y samba-client cifs-utils

# smbclient -L 192.168.1.20 -U samba

# mount -t cifs -o username=samba,password=redhat //192.168.1.20/gluster-vol1 /mnt/vol1

查看ctdb状态

可以使用命令查看CTDB集群的状态：

# ctdb status

# ctdb ip

# ctdb ping -n all

课本练习

[root@workstation ~]# lab ctdb setup 
Setting up  for lab exercise work:

 ? Testing if all hosts are reachable..........................  SUCCESS
 ? Adding glusterfs to runtime firewall on servera.............  SUCCESS
 ? Adding glusterfs to permanent firewall on servera...........  SUCCESS
 ? Adding glusterfs to runtime firewall on serverb.............  SUCCESS
 ? Adding glusterfs to permanent firewall on serverb...........  SUCCESS
 ? Adding servera to trusted storage pool......................  SUCCESS
 ? Adding serverb to trusted storage pool......................  SUCCESS
 ? Ensuring thin LVM pool vg_bricks/thinpool exists on servera.  SUCCESS
…………

1. 在servera和serverb上安装所需的软件，并在这些机器上的防火墙上打开此设置所需的任何端口。

# yum -y install samba ctdb
# firewall-cmd --add-service=samba --permanent 
# firewall-cmd --add-port=4379/tcp --permanent 
# firewall-cmd --reload

2. 停止ctdbmeta卷，然后在servera和serverb上设置相关的启动和停止触发，以便为CTDB使用ctdbmeta卷。还为两个节点上的Samba启用集群。

[root@servera ~]# gluster volume stop ctdbmeta 
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: ctdbmeta: success

vim /var/lib/glusterd/hooks/1/start/post/S29CTDBsetup.sh
# $META is the volume that will be used by CTDB as a shared filesystem.
# It is not desirable to use this volume for storing 'data' as well.
# META is set to 'all' (viz. a keyword and hence not a legal volume name)
# to prevent the script from running for volumes it was not intended.
# User needs to set META to the volume that serves CTDB lockfile.
META=ctdbmeta

vim /var/lib/glusterd/hooks/1/stop/pre/S29CTDB-teardown.sh
# $META is the volume that will be used by CTDB as a shared filesystem.
# It is not desirable to use this volume for storing 'data' as well.
# META is set to 'all' (viz. a keyword and hence not a legal volume name)
# to prevent the script from running for volumes it was not intended.
# User needs to set META to the volume that serves CTDB lockfile.
META=ctdbmeta

添加clustering = yes 配置
# grep clustering -C 2 /etc/samba/smb.conf 

[global]
clustering=yes
#------------------------ AIO Settings ------------------------
#

3. 启动ctdbmeta卷，然后配置CTDB以使用servera和serverb系统进行IP故障转移，使用172.25.250.15/24作为浮动IP地址。

[root@servera ~]# gluster volume start ctdbmeta 
volume start: ctdbmeta: success

# vim /etc/ctdb/nodes
# cat /etc/ctdb/nodes 
172.25.250.10
172.25.250.11
# vim /etc/ctdb/public_addresses
# cat /etc/ctdb/public_addresses 
172.25.250.15/24 eth0
# systemctl enable ctdb
# systemctl start ctdb

4. 确保使用Samba导出custdata卷。记住为smbuser用户设置一个redhat Samba密码。

将smbuser的samba密码设置为redhat。因为ctdb将此更改传播到所有节点，所以此步骤只需要在单个主机上执行。

# smbpasswd -a smbuser
New SMB password: redhat
Retype new SMB password: redhat
Added user smbuser.

# gluster volume set custdata stat-prefetch off
# gluster volume set custdata server.allow-insecure on
# gluster volume set custdata storage.batch-fsync-delay-usec 0

servera和serverb都需要更改：
# vim /etc/glusterfs/glusterd.vol
    option rpc-auth-allow-insecure on
# systemctl restart glusterd

[root@servera ~]# gluster volume stop custdata 
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: custdata: success
[root@servera ~]# gluster volume start custdata
volume start: custdata: success

5. 在您的workstation系统上，使用Samba通过浮动IP地址在/mnt/custdata上持久地挂载custdata卷。

[root@workstation ~]# mkdir /mnt/custdata
[root@workstation ~]# echo "//172.25.250.15/gluster-custdata /mnt/custdata cifs user=smbuser,pass=redhat 0 0" >> /etc/fstab
[root@workstation ~]# mount -a
[root@workstation ~]# df -TH
Filesystem                       Type      Size  Used Avail Use% Mounted on
/dev/vda1                        xfs        11G  3.3G  7.6G  31% /
devtmpfs                         devtmpfs  946M     0  946M   0% /dev
tmpfs                            tmpfs     965M   87k  965M   1% /dev/shm
tmpfs                            tmpfs     965M   18M  948M   2% /run
tmpfs                            tmpfs     965M     0  965M   0% /sys/fs/cgroup
tmpfs                            tmpfs     193M   17k  193M   1% /run/user/42
tmpfs                            tmpfs     193M     0  193M   0% /run/user/0
//172.25.250.15/gluster-custdata cifs      2.2G   35M  2.2G   2% /mnt/custdata

6. 模拟故障。

通过在/mnt/custdata中创建一些文件来测试你的IP故障转移，关闭当前分配了浮动IP的主机，然后在/mnt/custdata中创建更多的文件。不要忘记启动你关闭电源的机器。

[root@workstation ~]# touch /mnt/custdata/file{00..49}

[root@servera ~]# ctdb ip -n all
Public IPs on ALL nodes
172.25.250.15 1
[root@servera ~]# ctdb status
Number of nodes:2
pnn:0 172.25.250.10    OK (THIS NODE)
pnn:1 172.25.250.11    OK
Generation:1156537640
Size:2
hash:0 lmaster:0
hash:1 lmaster:1
Recovery mode:NORMAL (0)
Recovery master:0

[root@serverb ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:00:fa:0b brd ff:ff:ff:ff:ff:ff
    inet 172.25.250.11/24 brd 172.25.250.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet 172.25.250.15/24 brd 172.25.250.255 scope global secondary eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::5054:ff:fe00:fa0b/64 scope link 
       valid_lft forever preferred_lft forever
3: bond0: <BROADCAST,MULTICAST,MASTER> mtu 1500 qdisc noop state DOWN 
    link/ether f2:1a:f8:73:6d:cf brd ff:ff:ff:ff:ff:ff
[root@serverb ~]# init 0
Connection to serverb closed by remote host.
Connection to serverb closed.

[root@workstation ~]# touch /mnt/custdata/file{50..99}

[root@foundation0 ~]# rht-vmctl start serverb
Starting serverb.

7. 查看日志。

# tail -f /var/log/log.ctdb -n 1000 
…………
2020/12/05 21:19:36.151950 [recoverd: 3641]: Resetting ban count to 0 for all nodes
2020/12/05 21:19:49.906734 [ 3491]: 50.samba: Redirecting to /bin/systemctl start  smb.service
2020/12/05 21:19:50.179897 [recoverd: 3641]: Trigger takeoverrun
2020/12/05 21:19:52.352823 [ 3491]: Node became HEALTHY. Ask recovery master 0 to perform ip reallocation
2020/12/05 21:37:51.497398 [recoverd: 3641]: ../ctdb/server/ctdb_recoverd.c:3973 The vnnmap count is different from the number of active lmaster nodes: 2 vs 1
2020/12/05 21:37:51.497495 [recoverd: 3641]: Taking out recovery lock from recovery daemon
2020/12/05 21:37:51.497500 [recoverd: 3641]: Take the recovery lock
2020/12/05 21:38:06.547795 [ 3491]: High RECLOCK latency 15.050065s for operation recd reclock
2020/12/05 21:38:06.551899 [ 3491]: Freeze priority 1
…………