[大数据]GPU调度方案

gpu 调度方案

设置环境变量CUDA_VISIBLE_DEVICES

$ deviceQuery |& grep ^Device
Device 0: "Tesla M2090"
Device 1: "Tesla M2090"
$ CUDA_VISIBLE_DEVICES=0 deviceQuery |& grep ^Device
Device 0: "Tesla M2090"

如果这一步没有生效，再尝试设置

os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"

如果是在python中设置环境变量，应该确保在import tensorflow 和 pycuda 之前

CUDA_VISIBLE_DEVICES 不一定能彻底隔离GPU

参考：https://stackoverflow.com/a/58445444/6010781

在docker/kubernetes 一般是设置NVIDIA_VISIBLE_DEVICES这个环境变量

如果不依赖于外部的调度框架如k8s/yarn 3.x, 那么设置环境变量之前需要自行维护一个资源表，记录每个节点上已分配和空闲的GPU。

直接在代码中指定GPU（极端不推荐）

import tensorflow as tf
with tf.device('/gpu:0'):
    a = tf.constant(3.0)

了解本专栏 订阅专栏 解锁全文