Pip快速离线安装pytorch-gpu

1小节讲解涉及的基本概念，读者也可直接从2小节开始。

1 安装pythorch涉及的基本组件概念

1.1 显卡驱动Driver

常识概念，此处略过。

1.2 CUDA

CUDA（Compute Unified Device Architecture）是显卡厂商NVIDIA推出的运算平台。CUDA?是一种由NVIDIA推出的通用并行计算架构，是一种并行计算平台和编程模型，该架构使GPU能够解决复杂的计算问题。运行CUDA应用程序需要要求系统具有一个具有CUDA功能的GPU和与CUDA Toolkit兼容的驱动程序（显卡驱动Driver）。需要注意的是，显卡驱动和CUDA不是一个概念，默认的驱动安装方式是不安装CUDA的。
查看CUDA版本命令：
在命令行中输入：
nvcc -V 或nvcc --version或cat /usr/local/cuda/version.txt

1.3 CUDA Toolkit

1.3.1 官网的CUDA Toolkit

CUDA工具包是一个包含CUDA的工具包，主要包含了CUDA-C和CUDA-C++编译器、一些科学库和实用程序库、CUDA和library API的代码示例、和一些CUDA开发工具。（通常在安装CUDA Toolkit的时候会默认安装CUDA Driver；但是我们经常只安装CUDA Driver，没有安装CUDA Toolkit，因为有时不一定用到CUDA Toolkit；

1.3.2 Conda 安装的CUDA Toolkit

Conda在安装Pytorch时，会同时向用户安装cudatoolkit，如命令conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch，其主要包含应用程序在使用CUDA相关的功能时所依赖的动态链接库。conda安装只会安装一些计算库，不会安装编译工具。而官方的cuda包包含的东西会完整一些。

1.3.3 官网CUDA Toolkit和conda 安装的CUDA Toolkit的区别

conda安装的cudatoolkit与Nvidia官方提供的cudatoolkit是不一样的。 具体区别如下：
1、Nvidia 官方提供安装的 CUDA Toolkit 包含了进行 CUDA 相关程序开发的编译、调试等过程相关的所有组件。
2、对于 Pytorch 之类的深度学习框架而言，其在大多数需要使用 GPU 的情况中只需要使用 CUDA 的动态链接库支持程序的运行( Pytorch 本身与 CUDA 相关的部分是提前编译好的 )，不需要重新进行编译过程。在安装了 cudatoolkit 后，只要系统上存在与当前的 cudatoolkit 所兼容的 Nvidia 驱动，就可以直接运行。
3、在大多数情况下，上述 cudatoolkit 是可以满足 Pytorch 等框架的使用需求的。但对于一些特殊需求，如需要为 Pytorch 框架添加 CUDA 相关的拓展时( Custom C++ and CUDA Extensions )，需要对编写的 CUDA 相关的程序进行编译等操作，则需安装完整的 Nvidia 官方提供的 CUDA Toolkit.
4、系统上只需要存在cuda的动态链接库，即可编译安装pytorch（只安装了nvidia驱动，没有官方安装cuda），因此nvidia-smi显示的cuda版本，只是pytorch安装时编译安装的版本，而pytorch运行时真正使用的cuda版本为annaconda为其安装的cudatoolkit中cuda的版本（只安装了nvidia驱动，没有官方安装cuda），这块不明白的，请看：https://blog.csdn.net/qq_40947610/article/details/114746940
————————————————
以上部分来自于CSDN博主「马圈圈马」的原创文章，遵循CC 4.0 BY-SA版权协议，原文链接：https://blog.csdn.net/qq_40947610/article/details/114707085
所以，一般情况下，我们使用anaconda安装CUDA Toolkit即可。

1.4 CUDA Toolkit和显卡驱动的版本对应

每个版本的CUDA Toolkit 都对应一个最低版本的显卡驱动版本（CUDA Driver）。这意味着，同一个显卡驱动可以安装多个版本的CUDA（如CUDA 9.0、CUDA 10.1）只需要显卡驱动版本和CUDA Toolkit 兼容即可。

1.5 cuDNN

cuDNN(NVIDIA CUDA? Deep Neural Network library)，是NVIDIA专门针对深度神经网络中的基础操作而设计基于GPU的加速库。CUDA这个平台一开始并没有安装cuDNN库，当开发者们需要用到深度学习GPU加速时才安装cuDNN库，工作速度相较CPU快很多。cuDNN按照论坛里部分帖子的说法应该是没有对应关系的，但是官方网站会给出建议用于某版本CUDA的cuDNN，按照官方安装即可，这个细节没有必要在意！
来自知乎的解释：CUDA看作是一个工作台，上面配有很多工具，如锤子、螺丝刀等。cuDNN是基于CUDA的深度学习GPU加速库，有了它才能在GPU上完成深度学习的计算。它就相当于工作的工具，比如它就是个扳手。但是CUDA这个工作台买来的时候，并没有送扳手。想要在CUDA上运行深度神经网络，就要安装cuDNN，就像你想要拧个螺帽就要把扳手买回来。这样才能使GPU进行深度神经网络的工作，工作速度相较CPU快很多。
查看cuDNN版本：cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
————————————————
以上部分大部分参考CSDN博主「tomorrow″」的原创文章，遵循CC 4.0 BY-SA版权协议，原文链接：https://blog.csdn.net/qq_42406643/article/details/109545766

2 开始安装

在介绍完了显卡驱动、CUDA Toolkit、cuDNN这三个组件之后，我们现在开始正式安装。

2.1 查看显卡驱动支持的CUDA 版本

打开NVIDIA控制面板》系统信息》组件，即可看到该驱动支持的最高的CUDA Toolkit版本。注意：此处的CUDA Toolkit版本是最高支持的版本，可以向下兼容。笔者的驱动当前支持的最高版本为11.4.94。（如果驱动支持的CUDA Toolkit版本太老、太少升级显卡驱动即可，如果连支持显卡的驱动都找不到，那说明这块显卡完全不能用于pytorch）
查看支持的CUDA

2.2 用pip离线安装pytorch（很快）

安装pytorch有很多种方法，常见的有conda和pip两种。国内安装pytorch最大的问题就是网络问题，网络问题解决了一切问题就会迎刃而解。虽然可以使用国内镜像源用conda或pip安装，但是国内的镜像源更新较慢，往往没有最新的pytorch版本，或者版本不全。此处采用迅雷下载，pip安装的快速方法（非常快哦！）。

2.2.1 Pytorch官网获取安装命令和地址

在https://pytorch.org/，中根据自己的平台和CUDA 版本获取合适的命令。（一定要选择pip安装）可以看到，这里只安装torch、torchvision、torchaudio三个包，为什么没有安装CUDA Toolkit？笔者考虑用pip安装，该组件已经被打包到torch==1.9.0+cu111中了。是否是这样的，笔者拿捏不准，但是从实际测试来看似乎是这样的，欢迎资深大佬前来指正！
选择待安装的pytorch
浏览器输入后面的https://download.pytorch.org/whl/torch_stable.html在如下界面中找到待安装的版本。cu111表示CUDA Toolkit的版本为11.1，cp36表示适用的python版本为3.6. 点击右键，复制连接地址，并把该地址输入到迅雷中，开始享受迅雷带来的飞一般的速度吧！
在这里插入图片描述