1、自动化脚本
脚本内容：配置基础环境、安装docker、cni、kubelet、kubeadm、kubectl，主节点、工作节点都要执行。
# 重置kubeadm
echo "----------------重置系统环境--------------------"
sudo kubeadm reset
# 重置iptables
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
sudo sysctl net.bridge.bridge-nf-call-iptables=1
# 重置网卡信息
sudo ip link del cni0
sudo ip link del flannel.1
# 关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld
# 禁用SELINUX
setenforce 0
# vim /etc/selinux/config
sudo sed -i "s/SELINUX=.*/SELINUX=disable/g" /etc/selinux/config
# 关闭系统的Swap方法如下:
# 编辑`/etc/fstab`文件，注释掉引用`swap`的行，保存并重启后输入:
sudo swapoff -a #临时关闭swap
sudo sed -i 's/.*swap.*/#&/' /etc/fstab
echo "----------------检查Docker是否安装--------------------"
sudo yum list installed | grep 'docker-ce'
if [ $? -ne 0 ];then
echo "Docker未安装"
echo "----------------安装 Docker--------------------"
# 卸载docker
sudo yum remove -y $(rpm -qa | grep docker)
# 安装docker
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install -y docker-ce
# 重启docker
sudo systemctl enable docker
sudo systemctl restart docker
else
echo "Docker已安装"
fi
echo "----------------修改yum源--------------------"
# 修改为aliyun yum源
cat <<EOF > kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
sudo mv kubernetes.repo /etc/yum.repos.d/
# 查看可用版本
# sudo yum list --showduplicates | grep 'kubeadm\|kubectl\|kubelet'
# 安装 kubeadm, kubelet 和 kubectl
echo "----------------移除kubelet kubeadm kubectl--------------------"
sudo yum remove -y kubelet kubeadm kubectl
echo "----------------删除残留配置文件--------------------"
# 删除残留配置文件
modprobe -r ipip
lsmod
sudo rm -rf ~/.kube/
sudo rm -rf /etc/kubernetes/
sudo rm -rf /etc/systemd/system/kubelet.service.d
sudo rm -rf /etc/systemd/system/kubelet.service
sudo rm -rf /usr/bin/kube*
sudo rm -rf /etc/cni
sudo rm -rf /opt/cni
sudo rm -rf /var/lib/etcd
sudo rm -rf /var/etcd
echo "----------------配置cni--------------------"
# 配置cni
sudo mkdir -p /etc/cni/net.d/
cat <<EOF > 10-flannel.conflist
{
"name": "cbr0",
"plugins": [
{
"type": "flannel",
"delegate": {
"hairpinMode": true,
"isDefaultGateway": true
}
},
{
"type": "portmap",
"capabilities": {
"portMappings": true
}
}
]
}
EOF
sudo mv 10-flannel.conflist /etc/cni/net.d/
echo "----------------安装 cni/kubelet/kubeadm/kubectl--------------------"
# 安装 cni/kubelet/kubeadm/kubectl
sudo yum install -y kubernetes-cni-0.6.0-0.x86_64 kubelet-1.13.1 kubeadm-1.13.1 kubectl-1.13.1 --disableexcludes=kubernetes
# 重新加载 kubelet.service 配置文件
sudo systemctl daemon-reload
echo "----------------启动 kubelet--------------------"
# 启动 kubelet
sudo systemctl enable kubelet
sudo systemctl restart kubelet
sudo sysctl net.bridge.bridge-nf-call-iptables=1
echo "----------------启用 ipv6--------------------"
# 启用 ipv6
sudo sed -i 's\ipv6.disable=1\ipv6.disable=0\g' /etc/default/grub
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
echo "----------------安装完成，重启机器--------------------"
sudo reboot
2、初始化主节点
非公网IP初始化命令：xx.xx.xx.xx为本机ip
kubeadm init --image-repository registry.aliyuncs.com/google_containers
--apiserver-advertise-address xx.xx.xx.xx --pod-network-cidr=10.244.0.0/16
--service-cidr=10.96.0.0/12
云服务使用公网IP的使用以下命令（看【1】注意）：
kubeadm init --image-repository registry.aliyuncs.com/google_containers
--pod-network-cidr=10.244.0.0/16
--apiserver-cert-extra-sans=120.79.23.226
命令概述
--apiserver-advertise-address: master 和 worker 间能互相通信的 IP--kubernetes-version: 指定版本--image-repository：使用阿里云镜像，若可以接通外网忽略此项--apiserver-cert-extra-sans：节点验证证书阶段忽略错误
至此，master 节点安装完成，可以使用 kubectl get nodes 查看，此时 master状态。
Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the
following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config...
kubeadm join xx.xx.xx.xx:6443 --token qzpag0.9to4x04asdd383o \
--discovery-token-ca-cert-hash sha256:21611a589d89ad6218e7154asda5sda6e0bf78657dbeb9e10a80fd
【0】注意：执行后会返回 node 节点添加到集群的命令（如上），如果忘记可使用命令 kubeadm token create --print-join-command 查看。
【1】注意：若主机是阿里云、腾讯云的ECS，--apiserver-advertise-address 设置的IP不能是公网IP，否则会初始化失败（Initial timeout of 40s passed）因此要写内网IP或不配置此参数，解决方案在后文。
【2】注意：若初始化k8s集群失败，在下一次执行 kubeadm init 初始化命令前，先执行 kubeadm reset 命令重置节点，清理环境。否则再次 kubeadm init 初始化时会报 Port 10250 is in use 等错误。
4、工作节点加入到集群中：
在工作节点执行1中的脚本
1、使用非公网加入：
执行初始化Master节点返回的命令，注意此时返回的ip是内网的ip，通过内网连接
kubeadm join xx.xx.xx.xx:6443 --token qzpag0.9to4x04asdd383o \
--discovery-token-ca-cert-hash sha256:21611a589d89ad6218e7154asda5sda6e0bf78657dbeb9e10a80fd
2、通过公网加入：
- 安装
pod网络附加组件flannel
flannel Github地址：https://github.com/flannel-io/flannel
Kubernetes v1.17及以上 使用以下命令安装，只在Master中执行即可 flannel：
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
- 配置
iptables转发 IP ，使云服务器网络互通
由于初始化时删除了 --apiserver-advertise-address 参数，返回的节点加入集群命令为内网IP，但几个云服务器内网不互通，所以我们需要使用 iptables 进行 IP 转发，将主节点公网IP转发至内网IP，由于node节点加入集群的命令是内网IP，因此还需要配置 node 节点将主节点的内网IP转发至主节点的公网IP。
# 在主节点 master
sudo iptables -t nat -A OUTPUT -d <主节点公网IP> -j DNAT --to-destination <主节点私有IP>
# 在 node 节点上
sudo iptables -t nat -A OUTPUT -d <主节点私有IP> -j DNAT --to-destination <主节点公网IP>
- 执行命令：此时的xx.xx.xx.xx为公网ip
kubeadm join xx.xx.xx.xx:6443 --token qzpag0.9to4x04asdd383o \
--discovery-token-ca-cert-hash sha256:21611a589d89ad6218e7154asda5sda6e0bf78657dbeb9e10a80fd
4、问题解决：
1、节点状态为：NotReady
查看错误日志：
journalctl -f -u kubelet
—若错误为：cni config uninitialized
sudo mkdir -p /etc/cni/net.d
sudo cat > /etc/cni/net.d/10-flannel.conflist <<EOF
{
"name": "cbr0",
"plugins": [
{
"type": "flannel",
"delegate": {
"hairpinMode": true,
"isDefaultGateway": true
}
},
{
"type": "portmap",
"capabilities": {
"portMappings": true
}
}
]
}
EOF
2、从节点join 时发生错误：
[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables
contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
解决：
echo “1”>/proc/sys/net/bridge/bridge-nf-call-iptables
echo “1”>/proc/sys/net/bridge/bridge-nf-call-ip6tables