[系统运维]centos7虚拟机从零开始搭建docker与k8s集群到使用

（1）动静态ip修改

vi /etc/sysconfig/network-scripts/网卡名 动态ip只需要更改BOOTPROTO=“dhcp”
无需最后五行内容

静态ip则更改BOOTPROTO=“static” 然后添加最后五行内容

（2）修改hostname

vi /etc/hostname内部更换hostname systemctl restart systemd-hostnamed重启
hostname查看

（3）主机名解析

vi /etc/hosts
192.168.189.200  master
192.168.189.201  node1
192.168.189.202  node2
192.168.189.203  node3

（4）时间同步（chronyd服务从网络同步时间）

#启动chronyd服务 [root@master ~]# systemctl start chronyd
#设置chronyd服务开机自启 [root@master ~]# systemctl enable chronyd
#chronyd服务启动稍等几秒钟，就可以使用date命令验证时间了 [root@master ~]# date

（5）禁用防火墙 ，iptables和firewalld服务

#1 关闭firewalld服务 [root@master ~]# systemctl stop firewalld [root@master ~]# systemctl disable firewalld
#2 关闭iptables服务 [root@master ~]# systemctl stop iptables [root@master ~]# systemctl disable iptables

（6） 禁用selinux

selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题
#编辑 /etc/selinux/config 文件，修改SELINUX的值为disabled
#注意修改完毕之后需要重启linux服务 SELINUX=disabled

（7）禁用swap分区

swap分区指的是虚拟内存分区，它的作用是在物理内存使用完之后，将磁盘空间虚拟成内存来使用启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明

（8）修改linux内核参数

#修改linux的内核参数，添加网桥过滤和地址转发功能
#编辑/etc/sysctl.d/kubernetes.conf文件，添加如下配置:
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1

#重新加载配置

[root@master ~]# sysctl -p
#加载网桥过滤模块 [root@master ~]# modprobe br_netfilter
#查看网桥过滤模块是否加载成功 [root@master ~]# lsmod | grep br_netfilter

（9）配置ipvs功能

在kubernetes中service有两种代理模型，一种是基于iptables的，一种是基于ipvs的两者比较的话，ipvs的性能明显要高一些，但是如果要使用它，需要手动载入ipvs模块

#1安装ipset和ipvsadm [root@master ~]# yum install ipset ipvsadmin -y
#2添加需要加载的模块写入脚本文件 [root@master ~]# cat < /etc/sysconfig/modules/ipvs.modules

#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

#3 为脚本文件添加执行权限 [root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
#4 执行脚本文件 [root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules
#5 查看对应的模块是否加载成功 [root@master ~]# lsmod | grep -e ip_vs -e nf_conntrack_ipv4

（10）重启服务器

reboot

（11）更换阿里云镜像

配置dns sudo vi /etc/resolv.conf nameserver 8.8.8.8

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
-O /etc/yum.repos.d/docker-ce.repo

（12）安装docker

安装特定版本的docker-ce
#必须指定–setopt=obsoletes=0，否则yum会自动安装更高版本 [root@master ~]# yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y

缺少包则补全下面下载 wget -O /etc/yum.repos.d/CentOS-Base.repo
http://mirrors.aliyun.com/repo/Centos-7.repo yum install epel-release
-y yum install container-selinux -y yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y

添加配置
#Docker在默认情况下使用的Cgroup Driver为cgroupfs，而kubernetes推荐使用systemd来代替cgroupfs [root@master ~]#
mkdir /etc/docker [root@master ~]# cat <
/etc/docker/daemon.json

{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]
}
EOF

检查docker状态和版本 [root@master ~]# systemctl restart docker [root@master
~]# systemctl enable docker [root@master ~]# docker version

（13）安装kubernetes组件

#由于kubernetes的镜像源在国外，速度比较慢，这里切换成国内的镜像源
#编辑/etc/yum.repos.d/kubernetes.repo，添加下面的配置

[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

#安装kubeadm、kubelet和kubectl [root@master ~]# yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y

#配置kubelet的cgroup
#编辑/etc/sysconfig/kubelet，添加下面的配置

KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

#设置kubelet开机自启 [root@master ~]# systemctl enable kubelet

（14）准备集群镜像

建一个image.sh文件 vi image.sh

添加
#下载镜像
#此镜像在kubernetes的仓库中,由于网络原因,无法连接，下面提供了一种替代方案

images=(
    kube-apiserver:v1.17.4
    kube-controller-manager:v1.17.4
    kube-scheduler:v1.17.4
    kube-proxy:v1.17.4
    pause:3.1
    etcd:3.4.3-0
    coredns:1.6.5
)

images=(
    kube-apiserver:v1.17.17
    kube-controller-manager:v1.17.17
    kube-scheduler:v1.17.17
    kube-proxy:v1.17.17
    pause:3.1
    etcd:3.4.3-0
    coredns:1.6.5
)
for imageName in ${images[@]} ; do
	docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
	docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName 		k8s.gcr.io/$imageName
	docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

chmod +x image.sh ./image.sh 下载集群镜像

（15）集群初始化（保证在2核2gb以上）

先关掉swap swapoff -a临时关闭 sed -i.bak ‘/swap/s/^/#/’ /etc/fstab永久关闭

（一）在master节点的配置
#创建集群 [root@master ~]# kubeadm init \

–kubernetes-version=v1.17.4
–pod-network-cidr=10.244.0.0/16
–service-cidr=10.96.0.0/12
–apiserver-advertise-address=192.168.189.200

> ~~kubeadm init \ 	--kubernetes-version=v1.17.4 \
>     --pod-network-cidr=10.244.0.0/16 \
>     --service-cidr=10.96.0.0/12 \
>     --apiserver-advertise-address=10.200.30.19 	 
>     kubeadm init --kubernetes-version=1.17.4  \
> --apiserver-advertise-address=192.168.122.21   \
> --image-repository registry.aliyuncs.com/google_containers  \~~

有镜像问题可以使用国内阿里下载
kubeadm init --image-repository=registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16 --kubernetes-version=v1.17.4 --service-cidr=10.96.0.0/12 --apiserver-advertise-address=192.168.189.200

#创建必要文件 [root@master ~]# mkdir -p $HOME/.kube [root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config [root@master ~]# sudo chown $(id?u):$(id -g) $HOME/.kube/config

记住最后三行后面用
kubeadm join 192.168.189.200:6443 --token fvmd0b.7cna6pekssjqrpro --discovery-token-ca-cert-hash sha256:04081d6e1f2681c77efdc80c46570adb92b49be1b8b479f92d8afc92a6c7bbe8

加载环境环境并生效 echo “export KUBECONFIG=/etc/kubernetes/admin.conf” >>
~/.bash_profile source ~/.bash_profile

（二）在node节点配置

#将node节点加入集群 [root@master ~]# kubeadm join 192.168.189.200:6443 \ --token 8507uc.o0knircuri8etnw2 \ --discovery-token-ca-cert-hash
sha256:acc37967fb5b0acf39d7598f8a439cc7dc88f439a3f4d0c9cae88e7901b9d3f

#查看集群状态 此时的集群状态为NotReady，这是因为还没有配置网络插件
[root@master ~]# kubectl get nodes

（16）安装pod网络插件

kubernetes支持多种网络插件，比如flannel、calico、canal等等，任选一种使用即可，本次选择flannel
下面操作依旧只在master节点执行即可，插件使用的是DaemonSet的控制器，它会在每个节点上都运行

#获取fannel的配置文件
[root@master ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

#使用配置文件启动fannel
[root@master ~]# kubectl apply -f kube-flannel.yml

#稍等片刻，再次查看集群节点的状态

到此集群搭建完成

(17)测试集群，这里以ngnix为例

#部署
nginx kubectl create deployment nginx --image=nginx:1.14-alpine
#暴露端口
[root@master ~]# kubectl expose deployment nginx --port=80 --type=NodePort
#查看服务状态
[root@master ~]# kubectl get pods,service

这里看到80端口映射到32260
依次访问192.168.189.200,201,202,203:32260

（18）补充知识

1.taint：污点的意思。如果一个节点被打上了污点，那么pod是不允许运行在这个节点上面的

默认情况下集群不会在master上调度pod，如果偏想在master上调度Pod，可以执行如下操作：查看与删除污点 [root@master
~]# kubectl describe node master|grep -i taints Taints:
node-role.kubernetes.io/master:NoSchedule [root@master ~]# kubectl
taint nodes master node-role.kubernetes.io/master- node/master
untainted

2.污点机制

语法：kubectl taint node [node] key=value[effect]
其中[effect] 可取值: [ NoSchedule | PreferNoSchedule | NoExecute ]
NoSchedule: 一定不能被调度
PreferNoSchedule: 尽量不要调度
NoExecute: 不仅不会调度, 还会驱逐Node上已有的Pod

打污点：

[root@master ~]# kubectl taint node master key1=value1:NoSchedule
node/master tainted [root@master ~]# kubectl describe node master|grep
-i taints Taints: key1=value1:NoSchedule

3.加入集群
kubeadm token list .查看令牌
kubeadm token create 生成令牌
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null |
openssl dgst -sha256 -hex | sed ‘s/^.* //’ 生成加密串