近期由于工作原因，在项目支持的过程中，进行了一次K8S的基础环境部署，云平台一直是公司的重要底座，而我由于一系列原因，一直没有亲自尝试，通过本次的机会，让我重新做了一遍，也找到了和以前部署传统环境一样的感觉，虽然还有些生疏和不解，但是迈出了这一步，也算是深入学习的开始。
环境部署是作为公司技术人员，必须要掌握的，我们的产品都是基于这个基本条件下进行搭建使用的，因此对于环境的了解，原理的学习，对于我们后续问题排查，产品问题定位都是有所帮助的。?
1集群架构?
其核心思想是让 K8S master 节点中的各类组件具备高可用性，消除单点故障。?
1.kube-apiserver：对外暴露了 K8S API，是整个集群的访问入口。由于 apiserver 本身无状态，可以通过启动多个实例并结合负载均衡器实现高可用。?
2.etcd：用于存储 K8S 集群的网络配置和对象的状态信息，是整个集群的数据中心。可以通过启动奇数个 etcd 实例建立一个冗余的，可靠的数据存储层。?
3.kube-scheduler：为新创建的 pod 选择一个供他们运行的节点。一个集群只能有一个活跃的 kube-scheduler 实例，可以同时启动多个 kube-scheduler 并利用领导者选举功能实现高可用。?
4.kube-controller-manager：集群内部的管理控制中心。一个集群只能有一个活跃的 kube-controller-manager 实例，可以同时启动多个 kube-controller-manager 并利用领导者选举功能实现高可用。?
另外，构建集群时还需要注意下列问题。?
1)节点上 K8S 进程的可靠性。需要让 kubelet、kube-scheduler、kube-controller-manager 等进程在出现故障后能自动重启。?
2)为 worker node 中的非 pod 进程预留资源，防止他们将与 pod 争夺资源导致节点资源短缺。?
2部署架构?
目前提供了5台服务器，供开发和测试环境使用，具体分配情况已经使用情况如如下：
3环境准备??
进行配置前一些必要内容的处理，包括主机名的修改，网络调整、以及系统配置、安全策略等的调整，保证后续安装过程中的顺利进行。?
3.1协调虚拟IP?
部署高可用环境，需要两个虚拟IP的支持，一个用作内部集群的使用，另一个是用作外部集群使用，因此在与客户交互之初，就要协调好虚拟IP的网络情况，以便后续我们可以直接使用。?
我们这边拿到的两个IP分别为122和123，整理我用122作为了内部集群，123为外部的集群。?
3.2修改主机名称?
设置主机名，添加主机名与IP对应关系，如下：?
修改5台虚拟机的hosts文件?
3.3修改安全策略?
安全策略的处理包括两个位置，一个是关闭selinux，一个是调整防火墙的策略，保证系统访问安全，同时保证后续部署过程中不会受到安全限制。?
关闭selinux?
防火墙处理?
调整防火墙的端口，如下：?
防火墙白名单添加，如下：?
上述调整完成之后，将防火墙进行重启。?
3.4修改网络映射?
将桥接的IPv4流量传递到iptables的链：?
??
添加完毕后执行生效，如下：
3.5其他系统配置?
调整关闭swap，方法如下：?
同时调整时间同步，启动chronyd系统服务（需要检查客户给出的服务器时间是否一致，不一致要进行调整），方法如下：?
4外围部署?
针对不是容器里面处理的产品，我们要进行部署，因为UMC产品是需要部署到容器外的，所以支持UMC的相关中间件也是要部署到环境上的，包括redis、nginx以及keepalived。?
4.1redis部署?
4.1.1前置条件?
1.更新linux自带的gcc 与make?
安装完成后会有提示“完毕！”并自动返回到命令行?
2.如果wget提示无此命令，安装wget?
1)检查wget是否安装?
如下显示则已经安装：?
如果没有显示则表示没有安装，需要通过以下命令安装;?
4.1.2安装步骤?
安装命令如下：?
注意：其他服务器安装方式和这个相同。?
4.1.3配置Redis?
1.在server1机器上 /usr/local/redis-5.0.4 目录下创建 redis_cluster 目录?
命令如下：?
2.在 redis_cluster 目录下，创建名为7000、7001的目录，并将 redis.conf 拷贝到这三个目录中?
命令如下：?
上方使用的是绝对路径进行复制，也可使用相对路径进行复制命令（需要在新建的redis_cluster目录下进行操作）如下：?
3.分别修改这三个配置文件，修改如下内容?
注意备份：cp /usr/local/redis-5.0.4/redis_cluster/7000/redis.conf ?/usr/local/redis-5.0.4/redis_cluster/7000/redis.conf.bak?
注意：其他服务器于此部署类似。?
4.1.4启动Redis?
全部修改完毕后，在第一台机器上执行，启用Redis节点，以下命令：?
注意：如果关闭xshell后redis进程停止了，则用下命命令启动：?
第二台机器上执行，启用Redis节点，以下命令：
第三台机器上执行，启用Redis节点，以下命令：?
4.1.5Redis集群?
在server1上执行。?
4.1.6Redis验证?
server1执行?
之后左侧变成“XXX.XXX.X.241:7000>”表示进入了Redis的节点之后：?
回显显示设置值成功。?
同样在server2执行?
查看Redis中的信息。?
同时可以通过确认集群信息也可以在这里执行：?
cluster info ? ?//查看集群信息?
cluster nodes ?//查看节点信息?
如果集群报错，可以通过在每个节点下做以下两个命令；然后重新创建集群?
flushall ? ? ? //清空?
cluster reset ? //重置集群?
4.2nginx部署?
4.2.1前置条件?
Nginx需要很多前置包，所以在安装nginx前需要更新前置安装包。?
4.2.2步骤说明?
1.将nginx安装包上传到，/usr/local目录中，如下：?
2.解压这三个安装包?
3.接着进入 nginx-1.14.2目录中?
进行编译安装：?
编译：?
这样代表nginx已经编译安装完成。?
可以通过以下命令检测Nginx是否安装完成：
4.2.3启动nginx?
重启命令：?
4.3keepalived部署?
4.3.1安装步骤?
1.通过以下命令安装Keepalived?
2.设置为系统服务?
修改keepalived配置，主从机不同的地方通过黄色高亮显示：?
注意备份：cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak?
根据下文进行配置：?
注意：5台都要部署，分为两组，一组为master1、master2、master3组成的一个虚拟IP，一组是由worker1、woeker2组成的一个虚拟IP。?
4.3.2启停服务?
开启：systemctl start keepalived.service?
5软件安装?
软件安装部分，特指部署K8S所涉及的相关软件内容，通过部署这些软件内容，实现K8S的功能建立实现。?
5.1安装haproxy?
1.安装?
2.修改haproxy配置?
黄色：服务器机器名?
绿色：服务器ip?
3.开机默认启动haproxy，开启服务?
4.检查服务端口情况：?
查看haproxy状态?
注意：如果出现启动失败情况，显示不能绑定IP，系统文件处理添加如下：
注意：所有master服务器都要进行部署配置。?
5.2安装Docker?
??
注意：所有服务器都要进行部署。??
5.3添加阿里云UUM软件源?
在/etc/yum.repos.d目录下vi kubernetes.repo?
复制如下代码直接执行即可?
注意：所有服务器都要安装。?
5.4安装kubeadm、kubelet、kubectl?
5.4.1安装方法?
5.5修改Cgroup Driver?
修改cgroup driver是为了消除初始化集群时提示的告警：?
查看：?
docker info | grep Cgroup?
编辑service文件：?
追加下方红色字体代码：?
重新加载docker?
再次查看?
docker info | grep Cgroup?
6集群部署?
以下内容主要就是针对master和worker的加入，构建内部集群。?
6.1部署Master?
在master1上，准备集群配置文件，在/opt目录下创建kubeadm-config.yaml?
??
1.kubernetes拉取镜像?
注意：如果服务器断网，需要提前加载镜像包，上传服务器之后，通过?
的方式加载镜像，镜像列表如下（可以通过：docker images命令查询）?
2.执行节点初始化?
3.Master初始化完毕后最下面这个必须记录下来，后面node服务器加入需要用到?
??
按提示执行命令：
4.查看：?
kubectl get nodes?
kubectl get pods -n kube-system?
注意：node现在是NotReady状态，pod中coredns是Pending状态，是因为CNI网络插件未安装，继续以下步骤。?
6.2CNI网络插件?
安装flannel?
安装结果：?
查看pods：?
kubectl get pods -n kube-system?
如果网络不通，使用flanneld-v0.12.0-amd64.docker手动在所有节点安装?
安装所需要的文件如下：?
6.3加入master节点?
在master2和master3上执行，向集群添加新master节点，执行在kubeadm init输出的kubeadm join命令：这个在master init初始化时会有提示，更换为自己的IP和token。?
查看：?
可以看到，集群中已经有3台master节点了。?
6.4加入node节点?
在woker1和worker2执行，向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：这个在master init初始化时会有提示，更换为自己的IP和token。?
到master节点查看node状态，都显示ready：?
?
6.5配置Ingress-nginx?
6.5.1镜像上传?
把nginx-ingress.tar上传到各个master上，路径自己能找到就行（如果下面的mandatory.yaml里配置指定master，这里可以只放到指定的master就可以），导入镜像：?
6.5.2YAML修改?
1)编辑添加212行，表示使用主机网络?
hostNetwork: true?
关于上面yaml文件中写入的“hostNetwork: true”具体解释：如果添加了此字段，意味着pod中运行的应用可以直接使用node节点端口，这样node节点主机所在网络的其他主机，就可以通过访问该端口来访问此应用。（类似于docker映射到宿主机的端口。）?
2)编辑221行，修改镜像版本，改成上面导入的0.29.0?
上传到master服务器，路径自己能找到就行。?
3)设置pod时间，通常情况云服务器的时区为世界标准时间，和中国标准时间相差8个小时?
加入红框部分，如下图：?
参考模板文件如下：?
6.5.3允许master节点部署pod?
因为ingress-controller我们需要部署到master服务器上，而默认master不允许部署pod，所以使用如下方法解决?
输出如下:?
node “K8S” untainted?
输出error: taint “node-role.kubernetes.io/master:” not found错误忽略。?
6.5.4执行mandatory.yaml?
kubectl apply -f mandatory.yaml?
6.5.5确认Ingress-nginx容器?
确认Ingress-nginx容器正常运行：?
kubectl get pod -n ingress-nginx -o wide?
6.5.6开启指定变量?
上传文件configmap.yaml，然后调整相应参数，在该目录下执行以下命令?
kubectl apply -f configmap.yaml?
1.内部ingress-nginx，data参数说明：?
1)proxy-add-original-uri-header: "true"?
作用：获取到ingress的完整路径?
2)enable-underscores-in-headers: "true"?
作用：允许ingress支持自定义变量?
3)use-forwarded-headers: "true"?
作用：获取X-Forwarded-Proto，如https?
6.6drdb高可用?
6.6.1安装相关支撑程序?
在master1和master2安装?
到 http://oss.linbit.com/drbd 下载drbd-9.0.19-1.tar.gz、drbd-utils-9.12.1.tar.gz，再将drbd-9.0.19-1.tar.gz、drbd-utils-9.12.2.tar.gz上传到虚拟机/usr/local目录，再装一些支撑软件?
安装po4a-translate，编译drbd-utils的rpm包的时候，需要有命令【po4a-translate】的支持，但是系统上并没有这个命令?
6.6.2编译drbd-utils?
6.6.3编译drbd?
6.6.4安装drbd模块?
??
6.6.5查看drbd版本及路径?
6.6.6新磁盘分区?
6.6.7配置drbd资源文件?
vi /etc/drbd.d/drbd.res?
??
6.6.8配置资源?
6.6.9设置主节点?
强制设置为主节点，在任一节点上执行：?
再次查看?
drbdadm status?
看到此时数据的状态为UpToDate（数据正在同步，单未完全同步），且已经同步42.28?
主：?
副：
6.6.10格式化新分区并挂载?
查看：?
lsblk?
6.6.11设置drbd开机启动?
6.7NFS配置?
针对NFS进行服务端和客户端的处理，通过客户端和服务端的关系，保证客户端可以访问服务端。?
6.7.1NFS服务端配置?
1.安装NFS和rpc?
2.启动服务和设置开启启动?
3.建立共享文件夹：?
??
4.设置共享：?
5.启动NFS?
6.查看2049端口是否打开?
??
6.7.2NFS客户端配置?
1.在worker1和worker2也安装nfs，确保每个节点安装nfs（客户端上不需要启动nfs服务，只是为了使用showmount工具）?
2.查看挂载配置：?
3.在worker1上测试挂载是否成功?
挂载失败提示如下：?
取消挂载：?
4.在客户端创建目录，并挂载共享目录?
5.检查（有就行，和顺序无关）?
6.8镜像库搭建?
镜像库主要进行存储镜像信息，供UMC后续使用。?
6.8.1搭建镜像库?
1.将registry镜像pull下来?
2.启动（全部复制）?
6.8.2上传镜像?
实例：?
在可以找到的位置上传基础镜像，然后通过本地上传命令进行镜像加载?
镜像推送到?
验证：?
1.可以拉取一个busybox镜像（因为体积小），进行实验?
2.打标，准备发布到Registry中?
3.推送给Registry?
注意：如果上传、获取本地镜像会提示如下报错，需要设置daemon.json文件?
设置daemon.json文件?
其他节点获取本地镜像会提示?
由于Registry为了安全性考虑，默认是需要https证书支持的，但是我们可以通过一个简单的办法解决：?
注意：<ip>：Registry的机器ip地址，在安装registry的节点和客户端需要访问私有Registry的节点都需要执行此步操作。?
6.8.3查看镜像??
1.查看仓库有哪些镜像，运行如下命令：?
??
查看具体镜像标签（黄色是镜像名）：?
6.8.4拉取镜像?
拉取镜像?
6.8.5删除镜像?
1.配置hosts映射?
2.下载：?
3.查看：
?
4.授权：?
5.查找备份路径：?
find / -name registry?
如果没有这个路径，则是因为上传没有成功，不需要删除。?
6.设置镜像仓库的位置:?
7.删除：?
8.重启docker?
删除镜像之后要重启docker，不然还是会出现相同镜像push不成功的问题?
至此，K8S整体环境部署完毕。?
7心得体会?
本次环境的部署相对来说还是比较顺利，重要的一点就是随着文档体系的不断完善，很多问题都得以规避，因此在按照公司提供的标准部署文档来操作处理，问题也相对少了许多，大大的减少了自己研究处理的时间，自己也得以将大部分的时间用于了解和学习原理知识，由理解到部署，让自己的认识更加深刻。?
7.1能力提升?
之前自己一直没有切实的部署过云平台环境，对于其原理都是懵懵懂懂的，对于不同服务器怎么分配，分配好的服务器应该部署哪些东西，都是不了解的，因此就导致在实际使用过程中，也是屡屡出现问题，需要找同事协助解决，自己基本没有能力去解决。但是通过本次的部署学习，让我受益匪浅，对于哪些产品和软件应该部署在哪，为什么部署到那，都有所了解。并且针对一些问题的处理和解决，也渐渐的学会了如何排查，然后怎么处理，并且针对重大问题，如何进行集群重置，然后重新部署，自己也尝试了一下，总体来说，本次部署工作收获满满。?
7.2自我总结?
在云平台部署的过程中也出现了一些问题，主要也是自己在部署过程中不够仔细，拿来即用的原则不是可取的，因为每个人使用和理解都不一样。因此，有的时候理解上有偏差，就导致后续一系列问题的出现，因此，通过理解然后去解读，才能尽量减少这样问题的出现，并且不管什么情况下，都要有对大局的把控意识，例如对于标准文档，不应该拿过来就照着弄，而是应该整体看一下内容，把控整体的内容规划，然后再去弄，这样出现问题之后，相关联的问题就都能通过文档去定位，然后确认是什么问题，有针对性的去调整，避免遗漏，或知识获取不全的问题。?
7.3深入思考?
K8S的部署学习，是对云部署模式使用的一块敲门砖，我们对于云的了解，以前都是听说，而且感觉是高大上，遥不可及的，只有你真正的部署过，了解其中的原理了，你才能真实的感觉到，其实就哪些东西，所谓的云，也是离不开以前的部署模式的，只是使用的模式，以及使用的软件有所变化，类比以前传统环境部署的知识一样是通用的，而且有类似的地方，通过这种类比学习的方式，很快就能掌握云部署的技巧。因此对于新鲜事物不要惧怕，要敢于尝试，重在理解，只有这样才能突破现象看本质，学习的更加扎实。?
云平台的使用已经成为一种趋势，为了跟上时代的潮流、公司的脚步，我们应该将这种技能变成安身立命的本能，不仅仅是环境的部署上，还有环境的问题处理上，都要游刃有余，只有这样，才能适应后续项目的任务，在客户现场有更好的表现，给客户带来足够的安心，保证项目的顺利完成。?