IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> 企业项目实战k8s篇(十)Volumes配置管理 -> 正文阅读

[系统运维]企业项目实战k8s篇(十)Volumes配置管理

一.Volumes概述

  • 容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失,因为容器会以干净的状态重建。其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。

  • Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此,卷比 Pod 中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留。 当然,当一个 Pod 不再存在时,卷也将不再存在。也许更重要的是,Kubernetes 可以支持许多类型的卷,Pod 也能同时使用任意数量的卷。

  • 卷不能挂载到其他卷,也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。

Kubernetes 支持下列类型的卷:

  • awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
  • downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
  • gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local、
  • nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
  • scaleIO、secret、storageos、vsphereVolume

二.emptyDir卷

当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir 卷,并且只要 Pod 在该节点上运行,卷就一直存在。 就像它的名称表示的那样,卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会永久删除。

emptyDir 的使用场景:

  • 缓存空间,例如基于磁盘的归并排序。
  • 为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。
  • 在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。

默认情况下, emptyDir 卷存储在支持该节点所使用的介质上;这里的介质可以是磁盘或 SSD 或网络存储,这取决于您的环境。 但是,您可以将 emptyDir.medium 字段设置为 “Memory”,以告诉 Kubernetes 为您安装 tmpfs(基于内存的文件系统)。 虽然 tmpfs 速度非常快,但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除,并且您所写入的所有文件都会计入容?的内存消耗,受容?内存限制约束。

在一个pod下的两个容器共享volumes

创建pod:nginx+busyboxplus

[root@server1 volumes]# cat vol1.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:

  - image: busyboxplus
    name: vm1
    command: ["sleep", "300"]
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
  - name: vm2
    image: nginx
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: cache-volume
      volumes:
  - name: cache-volume
    emptyDir:
      medium: Memory
      sizeLimit: 100Mi

[root@server1 volumes]# kubectl  apply  -f vol1.yaml 
pod/vol1 created

查看pod及ip


[root@server1 volumes]# kubectl  get pod
NAME                                READY   STATUS    RESTARTS   AGE
vol1                                2/2     Running   0          7s
[root@server1 volumes]# kubectl  get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE    IP              NODE      NOMINATED NODE   READINESS GATES
vol1                                2/2     Running   0          34s    10.244.22.18    server4   <none>           <none>

进入交互界面,进行访问,403错误 配置默认发布文件,再次访问,访问成功,说明busyboxplusnginx共享volumes

[root@server1 volumes]# kubectl  exec vol1 -it sh
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
Defaulted container "vm1" out of: vm1, vm2
/ # ls
bin      cache    dev      etc      home     lib      lib64    linuxrc  media    mnt      opt      proc     root     run      sbin     sys      tmp      usr      var
/ # cd cache/
/cache # ls
/cache # curl 10.244.22.18
<html>

<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.19.2</center>
</body>
</html>
/cache # echo www.westos.org > index.html
/cache # curl 10.244.22.18
www.westos.org

volumes限制为100MB,创建200MB文件

/cache # dd if=/dev/zero of=/cache/bigfile bs=1M count=200
200+0 records in
200+0 records out
/cache # du -sh bigfile 
200.0M	bigfile

超过限制,崩溃

[root@server1 volumes]# kubectl  get pod
NAME                                READY   STATUS    RESTARTS   AGE
vol1                                0/2     Evicted   0          4m38s
  • 可以看到文件超过sizeLimit,则一段时间后(1-2分钟)会被kubelet evict掉。之所以不是“立即”被evict,是因为kubelet是定期进行检查的,这里会有一个时间差。

emptydir缺点:

  • 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出,但是这个时间内,其实对node还是有风险的;
  • 影响kubernetes调度,因为empty dir并不涉及node的resources,这样会造成Pod“偷偷”使用了node的内存,但是调度器并不知晓;
  • 用户不能及时感知到内存不可用

三.hostPath 卷

hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。 虽然这不是大多数 Pod 需要的,但是它为一些应用程序提供了强大的逃生舱。

hostPath 的一些用法有:

  • 运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
  • 在容器中运行 cAdvisor 时,以 hostPath 方式挂载 /sys。
  • 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在,是否应该创建以及应该以什么方式存在。
  • 查看pod调度节点是否创建相关目录

除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type
在这里插入图片描述
当使用这种类型的卷时要小心,因为:

  • 具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。
  • 当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制将无法考虑由 hostPath 使用的资源。
  • 基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运行进程,或者修改主机上的文件权限以便容?能够写入 hostPath 卷

1.查看pod调度节点是否创建相关目录

[root@server1 volumes]# cat host.yml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:

  - image: nginx
    name: test-container
    volumeMounts:
    - mountPath: /test-pd
      name: test-volume
    volumes:
  - name: test-volume
    hostPath:
      path: /data

/test-pd目录已经创建,可以看到目录内已存在内容

[root@server1 volumes]# kubectl  exec test-pd -it bash
root@test-pd:/# cd /test-pd/
root@test-pd:/test-pd# ls
ca_download  database  job_logs  psc  redis  registry  secret

2.nfs

安装nfs,共享/mnt/nfs

[root@server1 volumes]# yum install -y nfs-utils
Loaded plugins: product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
Package 1:nfs-utils-1.3.0-0.61.el7.x86_64 already installed and latest version
Nothing to do
[root@server1 volumes]# vim /etc/exports
[root@server1 volumes]# systemctl  start nfs
[root@server1 volumes]# showmount  -e
Export list for server1:
/mnt/nfs *

在k8s集群利用nfs部署nginx

[root@server1 volumes]# cat nfs.yml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: nginx
    name: test-container
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: test-volume
  volumes:
  - name: test-volume
    nfs:
      server: 172.25.3.1
      path: /mnt/nfs

[root@server1 volumes]# kubectl  apply  -f nfs.yml 
pod/test-pd created

查看pod

[root@server1 volumes]# kubectl  get pod
NAME                                READY   STATUS    RESTARTS   AGE
test-pd                             1/1     Running   0          14s

在共享目录创建默认发布文件index.html

[root@server1 volumes]# cd  /mnt/nfs/
[root@server1 nfs]# ls
config  vol1
[root@server1 nfs]# rm -rf *
[root@server1 nfs]# echo www.westos.org > index.html

进入交互界面,查看到index.html存在发布目录,说明nfs+k8s集群实现成功

[root@server1 nfs]# kubectl  exec test-pd -it bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
root@test-pd:/# ls
bin  boot  dev	docker-entrypoint.d  docker-entrypoint.sh  etc	home  lib  lib64  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
root@test-pd:/# cd /usr/local/
bin/     etc/     games/   include/ lib/     man/     sbin/    share/   src/     
root@test-pd:/# cd /usr/share/nginx/html/
root@test-pd:/usr/share/nginx/html# ls
index.html
root@test-pd:/usr/share/nginx/html# exit
exit
1.21.3

查看ip,测试访问,成功

[root@server1 nfs]# kubectl  get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE    IP              NODE      NOMINATED NODE   READINESS GATES
test-pd                             1/1     Running   0          6m3s   10.244.179.89   server2   <none>           <none>
[root@server1 nfs]# curl 10.244.179.89
www.westos.org

四.PersistentVolume持久卷

1.PersistentVolume简介

PersistentVolume(持久卷,简称PV)是集群内,由管理员提供的网络存储的一部分。就像集群中的节点一样,PV也是集群中的一种资源。它也像Volume一样,是一种volume插件,但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象,捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。

PersistentVolumeClaim(持久卷声明,简称PVC)是用户的一种存储请求。它和Pod类似,Pod消耗Node资源,而PVC消耗PV资源。Pod能够请求特定的资源(如CPU和内存)。PVC能够请求指定的大小和访问的模式(可以被映射为一次读写或者多次只读)。

有两种PV提供的方式:静态和动态。

  • 静态PV:集群管理员创建多个PV,它们携带着真实存储的详细信息,这些存储对于集群用户是可用的。它们存在于Kubernetes API中,并可用于存储使用。

  • 动态PV:当管理员创建的静态PV都不匹配用户的PVC时,集群可能会尝试专门地供给volume给PVC。这种供给基于StorageClass。

PVC与PV的绑定是一对一的映射。没找到匹配的PV,那么PVC会无限期得处于unbound未绑定状态。

2.PersistentVolume原理

使用

  • Pod使用PVC就像使用volume一样。集群检查PVC,查找绑定的PV,并映射PV给Pod。对于支持多种访问模式的PV,用户可以指定想用的模式。一旦用户拥有了一个PVC,并且PVC被绑定,那么只要用户还需要,PV就一直属于这个用户。用户调度Pod,通过在Pod的volume块中包含PVC来访问PV。

释放

  • 当用户使用PV完毕后,他们可以通过API来删除PVC对象。当PVC被删除后,对应的PV就被认为是已经是“released”了,但还不能再给另外一个PVC使用。前一个PVC的属于还存在于该PV中,必须根据策略来处理掉。

回收

  • PV的回收策略告诉集群,在PV被释放之后集群应该如何处理该PV。当前,PV可以被Retained(保留)、 Recycled(再利用)或者Deleted(删除)。保留允许手动地再次声明资源。对于支持删除操作的PV卷,删除操作会从Kubernetes中移除PV对象,还有对应的外部存储(如AWS EBS,GCE PD,Azure Disk,或者Cinder volume)。动态供给的卷总是会被删除。

访问模式

  • ReadWriteOnce – 该volume只能被单个节点以读写的方式映射
  • ReadOnlyMany – 该volume可以被多个节点以只读方式映射
  • ReadWriteMany – 该volume可以被多个节点以读写的方式映射

在命令行中,访问模式可以简写为:

  • RWO - ReadWriteOnce
  • ROX - ReadOnlyMany
  • RWX - ReadWriteMany

回收策略

  • Retain:保留,需要手动回收
  • Recycle:回收,自动删除卷中数据
  • Delete:删除,相关联的存储资产,如AWS EBS,GCE PD,Azure - Disk,or OpenStack Cinder卷都会被删除

当前,只有NFS和HostPath支持回收利用,AWS EBS,GCE PD,Azure Disk,or OpenStack Cinder卷支持删除操作。

状态

  • Available:空闲的资源,未绑定给PVC
  • Bound:绑定给了某个PVC
  • Released:PVC已经删除了,但是PV还没有被集群回收
  • Failed:PV在自动回收中失败了
  • 命令行可以显示PV绑定的PVC名称。

3.NFS持久化存储部署(静态pv)

安装配置nfs

[root@server1 volumes]# yum install -y nfs-utils
Loaded plugins: product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
Package 1:nfs-utils-1.3.0-0.61.el7.x86_64 already installed and latest version
Nothing to do
[root@server1 volumes]# vim /etc/exports
[root@server1 volumes]# systemctl  start nfs
[root@server1 volumes]# showmount  -e
Export list for server1:
/mnt/nfs *

创建pv脚本pv.yml,指定位置为/mnt/nfs/pv1/mnt/nfs/pv2

[root@server1 volumes]# vim pv.yml 
[root@server1 volumes]# kubectl  apply  -f pv.yml 
persistentvolume/pv1 created
persistentvolume/pv2 created
[root@server1 volumes]# kubectl  get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
pv1    5Gi        RWO            Recycle          Available           nfs                     3s
pv2    10Gi       RWX            Recycle          Available           nfs                     3s
[root@server1 volumes]# cat pv.yml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv1
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: nfs
  mountOptions:
    - hard
    - nfsvers=4.1
  nfs:
    path: /mnt/nfs/pv1
    server: 172.25.3.1
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  capacity:
    storage: 10Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: nfs
  mountOptions:
    - hard
    - nfsvers=4.1
  nfs:
    path: /mnt/nfs/pv2
    server: 172.25.3.1


创建pvc的脚本pvc.yml ,volume分别为pv1pv2

[root@server1 volumes]# vim pvc.yml 
[root@server1 volumes]# kubectl  apply  -f pvc.yml 
persistentvolumeclaim/pvc1 created
persistentvolumeclaim/pvc2 created
[root@server1 volumes]# kubectl  get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound    pv1      5Gi        RWO            nfs            6s
pvc2   Bound    pv2      10Gi       RWX            nfs            6s

查看pv,CLAIM 中为default/pvc1default/pvc2,说明已经链接

[root@server1 volumes]# kubectl  get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM          STORAGECLASS   REASON   AGE
pv1    5Gi        RWO            Recycle          Bound    default/pvc1   nfs                     114s
pv2    10Gi       RWX            Recycle          Bound    default/pvc2   nfs                     114s
[root@server1 volumes]# cat pvc.yml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
spec:
  storageClassName: nfs
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc2
spec:
  storageClassName: nfs
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi

创建pod,使用持久化存储方式

[root@server1 volumes]# vim pod.yml
[root@server1 volumes]# kubectl  apply  -f pod.yml 
pod/test-pd-1 created
pod/test-pd-2 created
[root@server1 volumes]# cat pod.yml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd-1
spec:
  containers:
  - image: nginx
    name: nginx
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: pv1
    volumes:
  - name: pv1
    persistentVolumeClaim:
      claimName: pvc1
---
apiVersion: v1
kind: Pod
metadata:
  name: test-pd-2
spec:
  containers:
  - image: nginx
    name: nginx
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: pv2
    volumes:
  - name: pv2
    persistentVolumeClaim:
      claimName: pvc2

在共享目录pv1 pv2下设置发布内容不同的index.html

[root@server1 volumes]# echo pv1.westos > /mnt/nfs/pv1/index.html
[root@server1 volumes]# echo pv2.westos > /mnt/nfs/pv2/index.html

查看ip,进行访问,访问pod不同,发布内容不同

[root@server1 volumes]# kubectl  get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE     IP              NODE      NOMINATED NODE   READINESS GATES
test-pd-1                           1/1     Running   0          83s     10.244.22.19    server4   <none>           <none>
test-pd-2                           1/1     Running   0          83s     10.244.22.20    server4   <none>           <none>
[root@server1 volumes]# curl 10.244.22.19
pv1.westos
[root@server1 volumes]# curl 10.244.22.20
pv2.westos
[root@server1 volumes]# 

删除pod再次建立,pvc依旧存在,依旧可以使用,注意ip需要重新获取

[root@server1 volumes]# kubectl  delete  -f pod.yml 
pod "test-pd-1" deleted
pod "test-pd-2" deleted
[root@server1 volumes]# kubectl  get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound    pv1      5Gi        RWO            nfs            7m3s
pvc2   Bound    pv2      10Gi       RWX            nfs            7m3s
[root@server1 volumes]# kubectl  apply  -f pod.yml 
pod/test-pd-1 created
pod/test-pd-2 created

[root@server1 volumes]# kubectl  get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE     IP              NODE      NOMINATED NODE   READINESS GATES
test-pd-1                           1/1     Running   0          13s     10.244.22.22    server4   <none>           <none>
test-pd-2                           1/1     Running   0          13s     10.244.22.21    server4   <none>           <none>
[root@server1 volumes]# curl 10.244.22.22
pv1.westos
[root@server1 volumes]# curl 10.244.22.21
pv2.westos

删除pvc,pv状态不变化,是因为是静态

[root@server1 volumes]# kubectl  delete  -f pvc.yml 
persistentvolumeclaim "pvc1" deleted
persistentvolumeclaim "pvc2" deleted
[root@server1 volumes]# kubectl  get pvc
No resources found in default namespace.
[root@server1 volumes]# kubectl  get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM          STORAGECLASS   REASON   AGE
pv1    5Gi        RWO            Recycle          Released   default/pvc1   nfs                     11m
pv2    10Gi       RWX            Recycle          Released   default/pvc2   nfs                     11m
  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2021-07-31 17:01:25  更:2021-07-31 17:02:39 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/25 17:41:05-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码