前言
常见k8s部署方式
●Minikube Minikube是一个工具,可以在本地快速运行一个单节点微型K8S,仅用于学习、预览K8S的一些特性使用。
部署地址: https://kubernetes. io/docs/setup/minikube
●Kubeadmin Kubeadmin也是一一个:工具,提供kubeadm init和 kubeadm join,用于快速部署K8S集群,相对简单。
https://kubernetes. io/decs/referencel/setup-toels/kubeadm/kubeadm/
●二进制安装部署 生产首选,从官方下载发行版的二进制包,手动部署每个组件和自签TLS证书,组成K8S集群,新手推荐。
https: //github. com/kubernetes/kubernetes/releases
一、etcd集群部署部署
1、etcd的概念
etcd是Coreos团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值( key-value)数据库。etcd内部采用raft协议作为一致性算法,etcd是go语言编写的。
2、etcd的特点
- 简单
安装配置简单,而且提供了HTTP APr进行交互,使用也很简单 - 安全
支持sSL证书验证正 - 快速
单实例支持每秒2k+读操作 - 可靠
来用raft算法,实现分布式系统数据的可用性和一致性
etcd 目前默认使用2379端口提供HTTP API服务,2380端口和peer通信(这两个端口已经被IANA(互联网数字分配机构)官方预留给etcd)。即etcd默认使用2379端口对外为客户端提供通讯,使用端口12380来进行服务器间内部通讯。etcd在生产环境中一般推荐集群方式部署。由于etcd 的leader选举机制,要求至少为3台或以上的奇数台。
3、准备签发证书环境
CFSSL是 cloudFlare公司开源的一款 PKI/TLS 工具。CPSSl包含一个命令行工具和一个用于签名、验证和捆绑"TLs 证书的wrreAPI 服务。使用Go语言编写。
CFSSI使用配置文件生成证书,因此自签之前,需要生成它识别的 json 格式的配置文件,cFSS。提供了方便的命令行生成配置文件。
CFSS用来为etcd提供TLS 证书,它支持签三种类型的证书:
- client 证书,服务端连接客户端时携带的证书,用于客户端验证服务端身份,如 kube-apiserver访问 etcd;
- server 证书,客户端连接服务端时携带的证书,用于服务端验证客户端身份,如 etcd 对外提供服务;
- peer 证书,相互之间连接时使用的证书,如etcd 节点之间进行验证和通信。
这里全部都使用问一套证书认证。
环境准备:
主机 | 操作系统 | IP地址 | 软件/环境 |
---|
master | CentOS7 | 192.168.217.40 | kube-apiserver kube-controller-manager kube-scheduler etcd | node1 | CentOS7 | 192.168.217.50 | kubelet kube-proxy docker flannel | node2 | CentOS7 | 192.168.217.60 | kubelet kube-proxy docker flannel |
① 操作系统初始化
# 1、关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 2、关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config #永久关闭
setenforce 0 #临时关闭
# 3、关闭swap
swapoff -a #临时关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab #永久关闭
# 4、根据规划设置主机名
hostnamectl set-hostname <主机名> #修改主机名
hostname #查看主机名
# 5、在master节点中添加hosts (IP后面跟的是hostname)
cat >> /etc/hosts << EOF
192.168.217.40 k8s-master
192.168.217.50 k8s-node1
192.168.217.60 k8s-node2
EOF
# 6、将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge‐nf‐call‐ip6tables=1
net.bridge.bridge‐nf‐call‐iptables=1
EOF
sysctl --system #生效
# 7、时间同步
yum install ntpdate -y
ntpdate time.windows.com
②在master节点上部署etcd
在master01 节点上操作(192.168.217.40)
//下载证书制作工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/1ocal/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/ local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl*
#master操作
mkdir /opt/k8s
cd /opt/k8s/
//上传etcd-cert.sh 和etcd.sh 到/opt/k8s/目录中
chmod +x etcd-cert.sh
//创建用于生成CA证书、etcd服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh
#生成CA证书、etcd服务器证书以及私钥
#下载证书制作工具
[root@localhost k8s]# vim cfssl.sh
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo
#下载cfssl官方包
[root@localhost k8s]# bash cfssl.sh
[root@localhost k8s]# ls /usr/local/bin/
cfssl cfssl-certinfo cfssljson
//开始制作证书
//cfssl 生成证书工具 cfssljson通过传入json文件生成证书
cfssl-certinfo查看证书信息
#定义ca证书
[root@localhost etcd-cert]# cat > ca-config.json <<EOF
{
"signing": {
"default": {
"expiry": "87600h"
},
"profiles": {
"www": {
"expiry": "87600h",
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
]
}
}
}
}
EOF
#实现证书签名
[root@localhost etcd-cert]# cat > ca-csr.json <<EOF
{
"CN": "etcd CA",
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "Beijing",
"ST": "Beijing"
}
]
}
EOF
#生产证书,生成ca-key.pem ca.pem
[root@localhost etcd-cert]# cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
#指定etcd三个节点之间的通信验证
[root@localhost etcd-cert]# cat > server-csr.json <<EOF
{
"CN": "etcd",
"hosts": [
"192.168.217.40",
"192.168.217.50",
"192.168.217.60"
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "BeiJing",
"ST": "BeiJing"
}
]
}
EOF
#配置文件,命令文件,证书生成ETCD证书 server-key.pem server.pem
[root@localhost etcd-cert]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server
[root@localhost etcd-cert]# ls
ca-config.json etcd-cert.sh server-csr.json
ca.csr etcd-v3.3.10-linux-amd64.tar.gz server-key.pem
ca-csr.json flannel-v0.10.0-linux-amd64.tar.gz server.pem
ca-key.pem kubernetes-server-linux-amd64.tar.gz
ca.pem server.csr
[root@localhost etcd-cert]# mv *.tar.gz ../
[root@localhost k8s]# ls
cfssl.sh etcd.sh flannel-v0.10.0-linux-amd64.tar.gz
etcd-cert etcd-v3.3.10-linux-amd64.tar.gz kubernetes-server-linux-amd64.tar.gz
[root@localhost k8s]# tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
[root@localhost k8s]# ls etcd-v3.3.10-linux-amd64
Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
#创建配置文件,命令文件,证书目录
[root@localhost k8s]# mkdir /opt/etcd/{cfg,bin,ssl} -p
#配置文件,命令文件,证书
[root@localhost k8s]# mv etcd-v3.3.10-linux-amd64/etcd etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
#证书拷贝
[root@localhost k8s]# cp etcd-cert/*.pem /opt/etcd/ssl/
#进入卡住状态等待其他节点加入
./etcd.sh etcd01 192.168.217.40 etcd02=https://192.168.217.50:2380,etcd03=https://192.168.217.60:2380
//进入卡住状态等待其他节点加入,这里需要三台etcd服务同时启动,如果只启动其中一台后,服务会卡在那里,直到集群中所有etcd节点都已启动,可忽略这个情况
#使用另外一个会话打开,会发现etcd进程已经开启
[root@localhost ~]# ps -ef | grep etcd
在master1节点上操作
#拷贝证书去其他节点
[root@localhost k8s]# scp -r /opt/etcd/ root@192.168.217.50:/opt
[root@localhost k8s]# scp -r /opt/etcd/ root@192.168.217.60:/opt
#启动脚本拷贝其他节点
[root@localhost k8s]# scp /usr/lib/systemd/system/etcd.service root@192.168.217.50:/usr/lib/systemd/system/
[root@localhost k8s]# scp /usr/lib/systemd/system/etcd.service root@192.168.217.60:/usr/lib/systemd/system/
③在node节点上部署etcd
在node01节点修改(192.168.217.50)
[root@localhost ~]# vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.217.50:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.217.50:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.217.50:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.217.50:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.217.40:2380,etcd02=https://192.168.217.50:2380,etcd03=https://192.168.217.60:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
#启动
[root@localhost ssl]# systemctl start etcd
[root@localhost ssl]# systemctl status etcd
在node02节点修改(192.168.217.60)
[root@localhost ~]# vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.217.60:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.217.60:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.217.60:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.217.60:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.217.40:2380,etcd02=https://192.168.217.50:2380,etcd03=https://192.168.217.60:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
#启动
[root@localhost ssl]# systemctl start etcd
[root@localhost ssl]# systemctl status etcd
④ 检查群集状态
在master01 节点上操作(192.168.217.40)
ln -s /opt/etcd/bin/etcd* /usr/local/bin
//检查etcd群集状态
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
-ca-file=ca.pem \
-cert-file=server.pem \
-key-file=server-key.pem \
-endpoints="https://192.168.217.60:2379,https://192.168.217.50:2379,https;//192.168.217.40:2379" \
cluster-health
二、docker集群部署
node01(192.168.217.50) node01(192.168.217.40)
//所有node节点部署docker引擎
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce
systemctl start docker.service
systemctl enable docker.service
三、flannel集群部署
①组件flannel概念
K8S中Pod网络通信:
- Pod内容器与容器乏间的通信:
- 在同一个 Pod内的容器(Pod 内的容器是不会跨宿主机的)共享同一个网络命令空间,相当于它们在同一台机器上一样,可以用localhost地址访问彼此的端口
- 同一个Node内Pod之间的通信:
- 每个 Pod 都有一个真实的全局IP地址,同一个Node 内的不同Pod 之间可以直接采用对方 Pod的IP地址进行通信,Pod1与Pod2都是通过 Veth连接到同一个docker0 网桥,网段相同,所以它们之间可以直接通信。
- 不同 Node 上 Pod 之间的通信:
- Pod 地址与 docker0在同一网段,docker0网段与宿主机网卡是两个不同的网段,且不同Node之间的通信只能通过宿主机的物理网卡进行。要想实现不同Node 上 Pod 之间的通信,就必须想办法通过主机的物理网卡 IP地址进行寻址和通信。因此要满足两个条件: Pod 的IP 不能冲突;将Pod 的 IP和所在的 Node的IP 关联起来,通过这个关联让不同 Node 上 Pod 之间直接通过内网IP地址通信。
Overlay Network:
叠加网络,在二层或者三层基础网络上叠加的一种虚拟网络技术模式,该网络中的主机通过虚拟链路隧道连接起来(类似于VPN)。
VXLAN:
将源数据包封装到UDP中,并使用基础网络的IP/MAC作为外层报文头进行封装,然后在以太网上传输,到达目的地后由隧道端点解封装并将数据发送给目标地址。
Flannel:
Flannel 的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。 Flannel是 overlay 网络的一种,也是将TCP源数据包封装在另一种网络包里而进行路由转发和通信,目前己经支持UDP、VXLAN、AWS VPC等数据转发方式。
Flannel工作原理:
数据从node01上Pod 的源容器中发出后,经由所在主机的 docker0虚拟网卡转发到 flannel0 虚拟网卡, flanneld 服务监听在 flannel0 虚拟网卡的另外一端。flannel 通过 etcd 服务维护了一张节点间的路由表。源主机 node01 的 flanneld 服务将原本的数据内容封装到UDP中后根据自己的路由表通过物理网卡投递给目的节点node02的 flanneld服务,数据到达以后被解包,然后直接进入目的节点的flannel0虚拟网卡,之后被转发到目的主机的 docker0 虚拟网卡,最后就像本机容器通信一样由 docker0 转发到日标容器。
ETCD 之Flannel 提供说明:
存储管理Flannel可分配的Ip地址段资源,监控ETCD中每个Pod的实际地址,并在内存中建立维护Pod节点路由表
②在master节点上部署flannel
master01(192.168.217.60)
//添加flannel 网络配置信息,写入分配的子网段到etcd中,供flannel 使用
cd /opt/etcd/ssl
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.217.60:2379,https://192.168.217.50:2379,https://192.168.217.40:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16","Backend": {"Type": "vxlan"}}'
//查看写入的信息
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.217.60:2379,https://192.168.217.50:2379,https://192.168.217.40:2379" \
get /coreos.com/network/config
set <key> <value>
set /coreos com/network/config添加一条网络配置记录,这个配置将用于flannel分配给每个docker的虚拟IP地址段 get get /coreos.com/network/config获取网络配置记录,后面不用再跟参数了 Network:用于指定Flannel地址池 Backend:用于指定数据包以什么方式转发,默认为udp模式,Backend为vxlan 比起预设的udp性能相对好一些
③在node节点上部署flannel
node01(192.168.217.50) node02(192.168.217.40)
//上传flannel.sh和flannel-v0.10.0-1inux-amd64.tar.gz到/opt 目录中,解压flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz
flanneld #flanneld为主要的执行文件
mk-docker-opts.sh #mk-docker-opts.sh脚本用于生成Docker启动参数
README.md
//创建kubernetes工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
//启动flanneld服务,开启flannel网络功能
cd /opt
chmod +x flannel.sh
启动Flannel服务的脚本详细内容查看:flannel.sh
//flannel启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env,包含了docker要使用flannel通讯的相关参数
cat /run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.26.1/24"
DOCKER_OPT_ IPMASQ="--ip-masq= false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER NETWORK OPTIONS="--bip=172.17.26. 1/24 --ip-masq-false--mtu=1450"
–bip: 指定docker启动时的子网 –ip-masq: 设置ipmasq=false 关闭snat伪装策略 –mtu=1450:mtu要留出50字节给外层的vxlan封包的额外开销使用
④ 配置Docker连接Flannel
node01(192.168.217.50) node02(192.168.217.40)
vim /usr/lib/systemd/system/docker.service
[Service]
....
#for containers run by docker
EnvironmentFile=/run/flannel/subnet.env #添加此行
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
....
//重启docker服务
systemctl daemon-reload
systemctl restart docker
//查看flannel网络
ifconfig
//测试ping通对方docker0网卡证明flannel起到路由作用
node1:ping 172.17.69.1
node2:ping 172.17.79.1
⑤ 在两个Node节点内创建Docker容器,进行测试
node01(192.168.217.50) node02(192.168.217.40)
docker run -it centos:7 /bin/bash
yum install net-tools -y
ifconfig
分别在两个容器内查看IP地址
在node01节点:ping 172.17.79.1
在node01节点:ping 172.17.69.1
四、部署master节点
master01(192.168.217.60)
① api-server生成证书
cd /opt/k8s/
unzip master.zip
chmod +x controller-manager.sh
mkdir /opt/kubernetes/{cfg,bin,ssl} -p
mkdir k8s-cert #创建k8s证书存放目录
mv k8s-cert.sh k8s-cert
vim k8s-cert.sh
./k8s-cert.sh
cp apiserver*pem ca*pem /opt/kubernetes/ssl/
ls *pem
admin-key.pem apiserver-key.pem
ca-key.pem kube-proxy-key.pem
admin.pem
apiserver.pem
ca.pem
kube-proxy.pem
//controller-manager和kube-scheduler设置为只调用当前机器的apiserver, 使用127.0.0.1:8080 通信,因此不需要签发证书
//复制CA证书、apiserver相关证书和私钥到kubernetes 工作目录的ssl子 目录中
cp ca*pem apiserver*pem /opt/kubernetes/ssl/
② 解压安装包并创建Token认证文件
//上传kubernetes-server-linux-amd64.tar.gz到/opt/k8s/目录中,解压kubernetes压缩包
cd /opt/k8s/
tar zxvf kubernetes-server-linux-anid64.tar.gz
//复制master组件的关键命令文件到kubernetes 工作目录的bin子目录中
cd /opt/k8s/kubernetes/server/bin
cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
ln -s /opt/kubernetes/bin/* /usr/local/bin/
③ 创建bootstrap token认证文件
//创建bootstrap token认证文件,apiserver启动时会调用,然后就相当于在集群内创建了一个这个用户,接下来就可以用RBAC
给他授权
cd /opt/k8s/
#获取随机数前16个字节内容,以十六进制格式输出,并删除其中空格
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
3e40a8ddf4af904f7f922cce0fdded8b #复制生成的随机数
#编辑token.csv文件,按照Token序列号,用户名,UID,用户组的格式生成
vim /opt/kubernetes/cfg/token.csv
3e40a8ddf4af904f7f922cce0fdded8b,kubelet-bootstrap,10001,"system:kubelet-bootstrap"
cat /opt/kubernetes/cfg/token.csv
④ 开启Apiserver服务
//二进制文件、token、证书都准备好后,开启apiserver服务
cd /opt/k8s/
./apiserver.sh 192.168.217.60 https://192.168.217.60:2379,https://192.168.217.50:2379,https://192.168.217.40:2379
//检查进程是否启动成功
ps aux | grep kube-apiserver
// k8s通过kube-apiserver这个进程提供服务,该进程运行在单个master节点上。默认有两个端口6443和8080
//安全端口6443用于接收HTTPS请求,用于基于Token文件或客户端证书等认证
netstat -natp |grep 6443
//本地端口8080用于接收HTTP请求,非认证或授权的HTTP请求通过该端口访问APIServer
netstat -natp | grep 8080
//查看版本信息(必须保证apiserver启动正常,不然无法查询到server的版本信息)
kubectl version
⑤ 启动Scheduler服务
//启动scheduler服务
cd /opt/k8s/
./scheduler.sh 127.0.0.1
ps aux | grep scheduler
启动scheduler服务的脚本详细内容查看:scheduler.sh
⑥ 启动controller-manager服务
//启动controller-manager服务
cd /opt/k8s/
./controller-manager.sh 127.0.0.1
ps aux | grep kube-controller-manager
启动controller-manager服务的脚本详细内容查看:controller-manager.sh
⑦ 查看Master节点状态
//查看master 节点状态.
kubectl get componentstatuses
#也可以kubectl get cs
五、node节点的部署
① 将kubelet和kube-proxy拷贝到node01节点
Master01(192.168.217.60)
//把kubelet、kube-proxy 拷贝到node节点
cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root@192.168.217.50:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.217.40:/opt/kubernetes/bin/
② 上传Node压缩包
node01(192.168.217.50)
//上传node.zip 到/opt日录中,解压node.zip压缩包,获得kubelet.sh、proxy.sh
cd /opt/
unzip node.zip
③ 创建生成Kubelet的配置文件和目录
Master01(192.168.217.60)
//创建用于生成kubelet的配置文件的目录
mkdir /opt/k8s/kubeconfig
//上传kubeconfig.sh文件到/opt/k8s/kubeconfig日录中
#kubeconfig.sh文件包含集群参数(CA证书、API Server地址),客户端参数(上面生成的证书和私钥),集群context上下文参数(集群名称、用户名)。Kubenetes 组件(如kubelet、kube-proxy)通过启动时指定不同的kubeconfig文件可以切换到不同的集群,连接到apiserver。
cd /opt/k8s/kubeconfig
chmod +x kubeconfig.sh
生成kubelet的配置文件的脚本详细内容查看:kubeconfig.sh
//生成kubelet的配置文件
cd /opt/k8s/kubeconfig
./kubeconfig.sh 192.168.217.60 /opt/k8s/k8s-cert/
ls
//把配置文件bootstrap.kubeconfig、kube-proxy.kubeconfig拷贝到node节点
cd /opt/k8s/kubeconfig
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.217.50:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.217.40:/opt/kubernetes/cfg/
//RBAC授权,将预设用户kubelet-bootstrap 与内置的ClusterRole system: node -bootstrapper绑定到一起, 使其能够发起CSR请求
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
④ 创建bootstrap角色赋予权限用于连接apiserver请求签名(关键)(master01上操作)
//RBA授权
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
//查看角色
kubectl get clusterroles | grep system:node-bootstrapper
//查看已授权的角色
kubectl get clusterrolebinding
⑤ 执行kubelet.sh脚本(在node01节点上操作)
./kubelet.sh 192.168.217.50
⑥ 检查到node01节点的请求(master01上操作)
kubectl get csr
kubectl certificate approve node-csr-jsSNBWeBJwqzIxhLtw4JVCeO1Z6W4ogAXsfIC8qUhzE
⑦ 查看证书(node01上)
ls /opt/kubernetes/ssl/
⑧ 查看maser01群集节点,成功加入node01节点
⑨ 加载ip_vs模块(node01和02)
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $1 >/dev/null 2>&1 && /sb1n/modprobe $i;done
⑩ 启动proxy服务(node01)
./proxy.sh 192.168.217.50
systemctl status kube-proxy.service
将node01中的配置文件复制到node02(在node01上操作)
scp kubelet.sh proxy.sh root@192.168.217.40:/opt
执行(node02上操作)
./kubelet.sh 192.168.217.40
master01(192.168.217.60)
启动kube-proxy
查看集群节点
kubectl get node
|