[系统运维]1.【从0实践k8s集群】基于kubeadm搭建一套测试k8s集群

虚拟机安装centos7，步骤省略。。。

1.规划k8s集群

k8s的系统架构图：

2.操作系统初始化配置

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

# 关闭swap（新版本不关闭会出现莫名问题）
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

-----------------------------------------------
一定要检查是否成功关闭swap：
[root@k8s-master ~]# free
              total        used        free      shared  buff/cache   available
Mem:        7990052      690744     6153936       13228     1145372     7033288
Swap:             0           0           0
-----------------------------------------------

# 根据规划设置主机名,分别在对应主机执行
hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2

# 在master添加hosts
cat >> /etc/hosts << EOF
192.168.40.10 k8s-master1
192.168.40.11 k8s-node1
192.16840.12 k8s-node2
EOF

# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效

# 时间同步
yum install ntpdate -y
ntpdate time.windows.com

3.安装docker环境

?3.1 安装docker

#使用aliyun的镜像

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum -y install docker-ce
systemctl enable docker && systemctl start docker

3.2配置国内阿里云镜像加速器

cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

systemctl restart docker
docker info

3.3添加阿里云yum源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

4.安装kubeadm\kubelet和kubectl

#可以指定版本号安装，不指定则安装最新版本， 安装并设置kubelet开机自启
yum install -y kubelet-1.21.0 kubeadm-1.21.0 kubectl-1.21.0
systemctl enable kubelet

5.安装kubernetes master（?有几处环境问题需要注意，建议先检查）：

问题1： scheduler Unhealthy Get http://127.0.0.1:10248/healthz: dial tcp 127.0.0.1:10248: connect: connection refused
解决方案：由于swap未关闭，报错信息会提示 Please disable swap


问题2：detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/

解决方案： 官方文档地址：https://kubernetes.io/zh/docs/setup/production-environment/container-runtimes/#docker

#官方文档方法：
sudo mkdir /etc/docker
cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

sudo systemctl enable docker
sudo systemctl daemon-reload
sudo systemctl restart docker


问题3：kubeadm init：failed to pull image coredns:v1.8.0: error
解决方案，由于阿里云coredns未同步导致，无法下载，可以先用docker下载到本地，打上tag：
docker pull coredns/coredns:1.8.0
docker tag coredns/coredns:1.8.0 registry.cn-hangzhou.aliyuncs.com/google_containers/coredns/coredns:v1.8.0

安装开始：

#执行命令
kubeadm init \
  --apiserver-advertise-address=192.168.40.10 \
  --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
  --kubernetes-version v1.21.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
  --ignore-preflight-errors=all


?-apiserver-advertise-address 集群通告地址
?--image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
?--kubernetes-version K8s版本，与上面安装的一致
?--service-cidr 集群内部虚拟网络，Pod统一访问入口
?--pod-network-cidr Pod网络，，与下面部署的CNI网络组件yaml中保持一致

初始化完成后，最后会输出一个join命令，先记住，下面用。

拷贝kubectl使用的连接k8s认证文件到默认路径（参考官方文档，未copy也可运行，后续可能出现bug）：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

此时master已经处于NoReady状态

查看工作节点：

kubectl get nodes
NAME               STATUS     ROLES            AGE   VERSION
localhost.localdomain   NotReady   control-plane,master   20s   v1.21.0


注：由于网络插件还没有部署，还没有准备就绪 NotReady
参考资料：
https://kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm-init/#config-file 
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#initializing-your-control-plane-node 

6.加入node节点

#在所有node节点执行初始化成功的join命令

kubeadm join 192.168.40.10:6443 --token a75mho.62o5596hwcifpkwn \
	--discovery-token-ca-cert-hash sha256:9c972a82f494a959daca4694d162879f58aa434b60403670aa035b994e056e11


##默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，可以直接使用命令快捷生成：
kubeadm token create --print-join-command

7. 重点（部署网络，在此之前整个集群处于未运行状态）

此处采用Calico，Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案，当然也可以使用其它方案，请自行查阅资料。

#下载yaml文件，只在master执行
wget https://docs.projectcalico.org/manifests/calico.yaml

##下载完后还需要修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与前面kubeadm init的 --pod-network-cidr指定的一样。
#修改完后文件后，执行命令：
kubectl apply -f calico.yaml

#查询系统状态
kubectl get pods -n kube-system

注意：若出现coredns 的STATUS是ImagePullBackOff 状态，参考第五步的问题3，下载下来会自动启动

此时，集群已经可以正常运行， 当然你也可以安装一下官方的web管理工具，kubernetes-dashboard

方法如下：

部署 Dashboard

#1.Dashboard是官方提供的一个UI，可用于基本管理K8s资源。 执行以下命令获取dashboard yaml文件
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

2.默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001  ###添加
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort ##填加

3.修改后执行
kubectl apply -f recommended.yaml

4.查看启动状态
kubectl get pods -n kubernetes-dashboard

5.访问地址
访问地址：https://nodeip:30001


6.
# 创建用户
kubectl create serviceaccount dashboard-admin -n kube-system
# 用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 获取用户Token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

将生成的token复制到web即可登录可视化管理中心