[系统运维]vagrant创建k8s集群

Vagrantfile

Vagrant.configure("2") do |config|
   (1..3).each do |i|
        config.vm.define "k8s-node#{i}" do |node|
            # 设置虚拟机的Box
            node.vm.box = "centos-7"

            # 设置虚拟机的主机名
            node.vm.hostname="k8s-node#{i}"

            # 设置虚拟机的IP
            node.vm.network "private_network", ip: "192.168.56.#{99+i}", netmask: "255.255.255.0"

            # 设置主机与虚拟机的共享目录
            # node.vm.synced_folder "~/Documents/vagrant/share", "/home/vagrant/share"

            # VirtaulBox相关配置
            node.vm.provider "virtualbox" do |v|
                # 设置虚拟机的名称
                v.name = "k8s-node#{i}"
                # 设置虚拟机的内存大小
                v.memory = 4096
                # 设置虚拟机的CPU个数
                v.cpus = 4
            end
        end
   end
end

开启 root 的密码访问权限，以便用SecureCRT访问

vi /etc/ssh/sshd_config

按i进入输入模式
修改 PasswordAuthentication yes

按esc
输入:wq 退出

设置网络

网卡1是k8s用的网卡，记得重新生成mac地址

SecureCRT打开所有主机共用的窗口

重新启动,ping 相互看能否ping 通

关闭防火墙：
systemctl stop firewalld
systemctl disable firewalld

关闭selinux
sed -i ‘s/enforcing/disabled/’ /etc/selinux/config
setenforce 0

查看 cat /etc/selinux/config 都已设置成功

关闭swap（关闭内存交换）

临时
swapoff -a

永久
sed -ri ‘s/.swap./#&/’ /etc/fstab

验证，swap 必须为 0
free -g

查看 cat /etc/fstab 都已设置成功（注释掉以下红框那句）

添加主机名与IP对应关系

查看主机名 hostname

查看ip addr

批量编辑所有虚拟主机的地址 vi /etc/hosts，按i键进入插入模式，复制如下代码黏贴进去

10.0.2.15 k8s-node1 
10.0.2.5 k8s-node2 
10.0.2.24 k8s-node3

按:wq

将桥接的IPv4流量传递到iptables的链，更精确统计流量

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
EOF

sysctl --system 查看应用成功

备份主机

后期有问题，可以停机 恢复备份

安装docker

docker 官方文档 https://docs.docker.com/engine/install/

Docker的镜像称为image，容器称为container。对于Docker来说，image是静态的，类似于操作系统快照，而container则是动态的，是image的运行实例。

有了镜像才能创建容器，如果数据在容器里，删除容器会丢失数据，数据持久化请看数据卷

安装gcc

yum -y install gcc
yum -y install gcc-c++

卸载旧版本

 sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

安装所需软件

 sudo yum install -y yum-utils

设置仓库

国外

 sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

国内

 sudo yum-config-manager \
    --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装docker

 sudo yum install -y docker-ce docker-ce-cli containerd.io

配置阿里云镜像加速
找到 “容器镜像服务”–>“镜像加速器” 菜单
https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

设置开机自启动docker

systemctl enable docker

启动docker

service docker start

添加阿里云 yum 源

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装 kubeadm，kubelet 和 kubectl

yum install -y kubelet-1.17.3 kubeadm-1.17.3 kubectl-1.17.3
systemctl enable kubelet 
systemctl start kubelet

先下载镜像，编写master_images.sh文件

#!/bin/bash

images=(
	kube-apiserver:v1.17.3
    kube-proxy:v1.17.3
	kube-controller-manager:v1.17.3
	kube-scheduler:v1.17.3
	coredns:1.6.5
	etcd:3.4.3-0
    pause:3.1
)

for imageName in ${images[@]} ; do
    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
#   docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName  k8s.gcr.io/$imageName
done

注：此文件是master所需的所有镜像，下面遍历循环下载所有镜像

把此文件上传到master节点

如下图master_images.sh文件没有执行权限

改变权限，可读可写可执行 rwx
chmod 700 master_images.sh

执行master_images.sh

./master_images.sh

检查镜像，如下已经都下载成功

docker images

k8s master 初始化

kubeadm init \
--apiserver-advertise-address=10.0.2.15 \
--image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
--kubernetes-version v1.17.3 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=10.244.0.0/16

1，apiserver-advertise-address 是master的IP,一定要对应自己master的IP

2，image-repository 默认镜像地址 k8s.gcr.io 国内无法访问，指定阿里云镜像仓库地址registry.aliyuncs.com/google_containers

3，service-cidr 无类别域间路由（Classless Inter-Domain Routing、CIDR）是一个用于给用户分配 IP 地址以及在互联网上有效地路由 IP 数据包的对 IP 地址进行归类的方法。 多个pod通过service对外提供服务，相当于对pod的负载均衡

如下提示成功

按照提示，先执行如下代码，启动一个普通用户

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

获取所有节点

kubectl get nodes

注：master 状态为 notready。等待网络加入完成即可。

查看 kubelet 日志
journalctl -u kubelet

准备网络

pod 网络插件安装，我们使用Flannel，apply 是应用kube-flannel.yml中的规定

kubectl apply -f \
https://raw.githubusercontent.com/coreos/flanne/master/Documentation/kube-flannel.yml

kube-flannel.yml下载不了的可以联系我，采用如下方式，先下载kube-flannel.yml在应用

kubectl apply -f  kube-flannel.yml

kube-flannel.yml中的flannel:v0.11.0-arm如果下载不了，建议到https://ub.docker.com/ 中找可以用的包，复制，把所有

加入网络

官网网络介绍
https://kubernetes.io/docs/concepts/cluster-administration/addons/

应用网络

kubeadm join 10.0.2.15:6443  --token knjtlv.pb2ukbpiulht5lbf     --discovery-token-ca-cert-hash sha256:ff000d775d41f22b052941dfc07943c2f479f69956faee72e13bc6bbcb41f61a 

token 过期怎么办，以下方法生成永久性token

kubeadm token create --print-join-command
kubeadm token create --ttl 0 --print-join-command