[系统运维]深度学习环境配置及其注意事项

深度学习环境配置及其注意事项

• 只建议安装Ubuntu18.04.1LTS版本，因为LTS版本的原因，内核默认自动更新，会导致内核与显卡驱动不兼容的问题，默认4.5内核无故障，5.7内核(ubuntu18.04.5LTS)存在与显卡驱动的兼容性问题!

• 推荐使用UEFI+GPT模式。使用diskgenius可以确认硬盘的分区和引导类型.

• windows下可以运行 msinfo32可以查看.

禁用内核自动更新

# 查看系统所有内核.
dpkg --get-selections |grep linux-image

# 查看当前使用内核.
uname -a

# 移除所有不需要的内核，如：
sudo apt-get remove linux-image-5.3.0-42-generic linux-image-extra-5.3.0-42-generic

# 删除对应的配置文件
sudo apt-get purge linux-image-5.3.0-42-generic linux-image-extra-5.3.0-42-generic

# 带head类型的文件亦可以一样移除，删除配置.

# 关闭自动更新，锁定该内核.
sudo apt-mark hold linux-image-5.3.0-42-generic
sudo apt-mark hold linux-image-extra-5.3.0-42-generic

系统安装

• 使用软件rufus将Ubuntu系统写入u盘，安装即可.建议将Ubuntu安装nvme0n1p4，引导在nvme0n1p1,引导默认挂载Ubuntu的/boot/efi目录下此为注意事项.
• 写系统时候注意选择GPT，UEFI(非GCM)，其余无任何注意事项.

系统迁移

本质上就是系统文件的拷贝问题，但是由于Ubuntu有每个文件有不同的权限的问题，所以不能简单的直接拷贝，需要保留对应权限结构的拷贝.
方式一如下:
进入Ubuntu live模式后

# 无须mount新硬盘.
sudo dd if=/dev/ssda4 of=/dev/nvme0n1p4

# 取消挂载，若有.
sudo umount /dev/nvme0n1p4

# 更新分区大小
sudo e2fsck -f /dev/nvme0n1p4
sudo resize2fs /dev/nvme0n1p4

# 分配新的uuid.
uuidgen | xargs tune2fs /dev/nvme0n1p4 -U

# 可能不成功，提示不能获取blocks，但是uuid不是一个很重要的问题，只要原硬盘在启动阶段不挂载，不影响.

# 将硬盘分区处理好一个，若原硬盘是多个分区一一操作即可，若一个则不需要.

# 引导修复:boot-repair
sudo add-apt-repository ppa:yannubuntu/boot-repair
sudo apt-get update
sudo apt-get install -y boot-repair && boot-repair

# 注意点开高级，引导选项要选择nvme0n0p1,而不是mbr.

方式二如下

• 通过timeshift备份，再还原到新硬盘，再修复引导的操作即可！
• 注意还原位置都是nvme0n0p4，修复引导的位置是nvme0n0p1！

环境搭建

CUDA核心部分

# 安装内容：cuda10.1+cudnn

# 清理显卡驱动，cuda等.
sudo rm /etc/apt/sources.list.d/cuda*
sudo apt remove --autoremove nvidia-cuda-toolkit
sudo apt remove --autoremove nvidia-*

# 添加源
sudo apt update
sudo add-apt-repository ppa:graphics-drivers
sudo apt-key adv --fetch-keys  http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo bash -c 'echo "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64 /" > /etc/apt/sources.list.d/cuda.list'
sudo bash -c 'echo "deb http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64 /" > /etc/apt/sources.list.d/cuda_learn.list'

# 安装cuda10.1+cudnn7.6
sudo apt update
sudo apt install cuda-10-1
sudo apt install libcudnn7


# 添加环境变量路径,追加.
sudo vi ~/.profile

# set PATH for cuda 10.1 installation
if [ -d "/usr/local/cuda-10.1/bin/" ]; then
    export PATH=/usr/local/cuda-10.1/bin${PATH:+:${PATH}}
    export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
fi

# 重启电脑验证安装.
# cuda
nvcc  --version

"""
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Wed_Apr_24_19:10:27_PDT_2019
Cuda compilation tools, release 10.1, V10.1.168
"""
# 显卡驱动
nvidia-smi

# libcuDnn
/sbin/ldconfig -N -v $(sed ‘s/:/ /’ <<< $LD_LIBRARY_PATH) 2>/dev/null | grep libcudnn

Nvidia-Docker 2.0

# 清理之前的环境
sudo apt-get remove docker docker-engine docker.io containerd runc
sudo rm -rf /var/lib/docker
sudo apt-get autoclean
sudo apt-get update

# Docker-ce
sudo apt install apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable"
sudo apt update

# 查看库.
apt-cache policy docker-ce

# 安装docker.
sudo apt install docker-ce

# 查看docker运行状态.
sudo systemctl status docker

# 添加用户到su权限的docker组，此后可以无须sudo也可使用docker.
sudo usermod -aG docker username
su - username

# 用户组查看，显示用户所在组，可以确认自己是否在docker组.
id -nG

# 之后部分：nvidia-docker
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey |   sudo apt-key add -

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

# 安装nvidia-docker2.
sudo apt-get install -y nvidia-docker2

# 重新加载docker配置文件.
sudo pkill -SIGHUP dockerd

# 安装成功与否校验.
sudo docker run --runtime=nvidia --rm nvidia/cuda:10.1-base nvidia-smi