|
在Kubernetes配置与集群监控的搭建和Docker常用命令中，我们介绍了如何安装Docker以及Kubernetes。对于集群而言，本文将更进一步地介绍如何使用Docker+K8s进行集群的GPU管理。
安装Nvidia驱动
Nvidia的驱动可以在官网下载。注意自己的系统内核以及显卡型号。安装完成后，在命令行使用nvidia-smi命令来查看显卡列表以及相关信息。如果成功安装，将会看到如下的结果。
~$ nvidia-smi
Sat Nov 13 22:21:26 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02 Driver Version: 470.57.02 CUDA Version: 11.4 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 NVIDIA GeForce ... Off | 00000000:02:00.0 Off | N/A |
| 33% 43C P8 21W / 250W | 0MiB / 11019MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
| 1 NVIDIA GeForce ... Off | 00000000:03:00.0 Off | N/A |
| 33% 43C P8 30W / 250W | 0MiB / 11019MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
这里展示了一台拥有两张2080Ti显卡的服务器。其中最上方的NVIDIA-SMI``Deiver Version和CUDA Version，分别表示nvidia-smi工具的版本，驱动版本以及该版本驱动支持的最高的CUDA的版本。在我们安装、配置三方库的时候，需要密切注意驱动版本、CUDA版本以及三方库版本。一般来说只需要足够高的驱动，配合上匹配的CUDA版本即可。需要额外注意的是，只有>=11.0版本的CUDA才能正确地在Ampere架构上的显卡正确运行。如果你使用的第三方库依赖了11.0之前的CUDA，那需要选用较低的硬件型号。否则在运行时会出现核函数错误。
安装nvidia-docker-runtime
nvidia-docker-runtime可以让我们正确地在容器里访问物理机上的GPU资源。安装过程我们可以参考k8s-device-plugin官方仓库的Quick Start。大概可以分成如下三步。
配置各个节点
首先需要在各个包含GPU的节点上安装相关工具使之可以支持在容器中访问显卡资源。
安装nvidia-docker
这部分流程主要参考官网教程，下方展示了ubuntu上的安装流程，对于其他的Linux发行版，可以移步官网查询。
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
&& curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
如果希望体验CUDA on WSL与最新的多实例GPU特性，那需要使用experimental分支。
curl -s -L https://nvidia.github.io/nvidia-container-runtime/experimental/$distribution/nvidia-container-runtime.list | sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list
更新package列表，安装nvidia-docker2并重启docker服务。
$ sudo apt-get update
$ sudo apt-get install -y nvidia-docker2
$ sudo systemctl restart docker
启动一个简单容器验证安装成功。
sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
这时我们应该可以看到一个GPU列表的输出。
安装nvidia-docker2
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
$ sudo apt-get update && sudo apt-get install -y nvidia-docker2
$ sudo systemctl restart docker
修改docker的运行配置
打开并修改/etc/docker/daemon.json：
{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}
在Kubernetes中启用GPU支持
当你在所有的GPU都完成了以上的配置之后，你可以通过下面的命令来启用GPU支持。
$ kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.10.0/nvidia-device-plugin.yml
启动一个GPU任务
apiVersion: v1
kind: Pod
metadata:
name: gpu-pod
spec:
containers:
- name: cuda-container
image: nvcr.io/nvidia/cuda:9.0-devel
resources:
limits:
nvidia.com/gpu: 2
- name: digits-container
image: nvcr.io/nvidia/digits:20.12-tensorflow-py3
resources:
limits:
nvidia.com/gpu: 2
|