| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 系统运维 -> Ubuntu 20.04 配置深度学习开发环境 -> 正文阅读 |
|
[系统运维]Ubuntu 20.04 配置深度学习开发环境 |
目录 写在前面由于博主目前用的是VMware下的Ubuntu20.04,曾经也尝试过安装GPU版本的Pytorch,但虚拟机下安装英伟达驱动一直困扰着我。于是安装了cpu版本的Pytorch,凑合着跑通了深度学习项目(QAQ) 后来了解到需要安装vSphere Bitfusion Client客户端,但由于时间与精力有限就没有去尝试。如果有其他小伙伴在VM 下的ubuntu中成功配置好深度学习环境,有待指点迷津呀~~ 最近,我的小伙伴慕笙需要跑深度学习项目,于是帮助TA在双系统下的Ubuntu配置了深度学习环境。在此过程中遇到了许多坑,主要是安装CUDA。听说这一过程可以劝退很多人,因此将详细的步骤以及采坑的经历记录下来,以示后来者!! Dependency
1.安装Anaconda1.1 下载安装包建议大家选择后者,即使这样我也要把前者贴出来~~(有点专业的样子😂😂) 1.2 进入安装文件夹,执行安装脚本。
然后一路yes就欧克,但到后面要注意,可能会推送vscode,根据需求选择呀~ 1.3 环境变量的配置与更新
更新:(一定记得!否则不生效!😡)
1.4 测试安装
1.5 创建虚拟环境①查看当前环境
②创建虚拟环境
③激活创建的虚拟环境
④安装需要的包 conda install 或 pip install,对了,如果觉得用pip安装第三方库慢或者超时报错,可以采用豆瓣源,个人觉得相当好用???
2.安装英伟达驱动法一: 命令行安装终端执行如下指令,列出可支持的所有驱动以及推荐驱动。
?一般选择推荐(recommand)驱动,安装命令如下:
重启ubuntu:
法二:GUI界面操作步骤:搜索driver,选择additional drivers,选择所需的驱动,安装,重启。 ?Tips:不论是哪种方法,安装完重启后要用nvidia-smi命令查看图形卡状态,可以看到驱动版本以及nvidia driver API 的cuda版本! 3.安装CUDA3.1 简介CUDA,全称ComputeUnified Device Architecture,是一种NVIDIA推出的通用的计算架构,该架构能够使GPU解决复杂的计算问题。 3.2 注意安装CUDA前一定记得在官网查看一下驱动支持的CUDA版本! 这里贴一张CUDA 11的相关表: ?3.3 安装流程进入CUDA官网,选择对应的安装平台,安装类型选择runfile,参考如下: ?信息确认后会提示安装指令。(wget会默认下载到当前目录?)
如果安装顺利😆进行,在一路yes后记得在NVIDIA Accelerated Graphics Driver时选择否,就没必要再安装英伟达驱动啦 那么如果不顺利😣咧,请往下看: Error:执行安装脚本以后可能会提示系统有多个驱动需要移除,提示如下: ?Method1:执行sudo apt install nvidia-cuda-toolkit,安装CUDA工具包(下面会讲到Method2) Test:
实际上,执行该命令出现CUDA的release以及version就证明runtime API cuda安装完毕~~而且也不需要按照下面的步骤配置环境变量。但这不一定就是最终的版本,因为CUDA与cuDNN之间存在依赖关系! 3.4 配置环境变量如果能够成功执行脚本,安装CUDA驱动,那么就需要手动配置环境变量,参考如下: 法一终端输入以下指令:
法二执行以下指令,然后在UI界面添加法一中的两条指令。
该方法与法一并无本质区别,由于博主用法一配置变量时无法奏效,或许是因为没有更新环境变量,目前尚不明确,如有小伙伴遇到了同样的经历,欢迎讨论~ 3.5 更新环境变量
3.6 验证安装
Attention!!!①关于nvcc -V与nvidia-smi命令显示的CUDA版本不一致问题。?? 由于cuda存在runtime API 与 nvidia drive API两个版本,前者是CUDA Toolkit安装的,称之为CUDA加速版本;而后者是Nvidia driver安装的,成为CUDA驱动版本,因此通常情况下,两者的版本不一致,前者版本都会低于后者。但在实际使用中,cuda版本是基于前者的,也就是runtime CUDA,这个CUDA才是用于深度学习的加速计算的。 ②由于本次开发环境系统是ubuntu20.04,而只有CUDA 11.0以上版本才支持。但通过nvcc -V查看发现CUDA已经安装好了,原因是在执行sudo apt install nvidia-cuda-toolkit时默认安装了CUDA 10.1版本,(一个不被ubuntu 20.04支持的版本就这么诞生了,天哪!)。因此我们依然需要通过执行CUDA安装脚本来安装合理的版本。可是一开始执行sudo sh cuda_11.6.1_510.47.03_linux.run报错,因此这就涉及到了Method 2?,参考如下: 由于ubuntu20.04默认的gcc版本是9,降级。
?目前还不清楚是否需要降级,开始的ERROR是否与gcc的版本有关尚未解决😪! 在降低gcc版本以后再次执行安装脚本依旧报错,提示:Installation failed. See log at /var/log/cuda-installer.log for details,错误日志内容如下: ?原因:系统已安装CUDA驱动 解决方案:继续执行sudo sh cuda_11.6.1_510.47.03_linux.run安装命令,在进入该界面时选择Continue,然后在安装界面取消Driver!!! ?如果没有取消Driver,在[ ]里会显示X!这里一定要注意!否则一直重来一直错!!! 等待安装......🙄🙄🙄安装完成后,配置环境变量、更新、测试,上面已经讲得很清楚啦! 如果你是按照上述流程配置的话,细心的你一定会发现我下载的CUDA包与执行安装的包版本不同。这里需要说明一下,由于开始只是关注了CUDA与nvidia driver的关系,而忽略了cuDNN与CUDA以及Pytorch与CUDA的依赖关系,因此在安装完CUDA 11.6以后发现没有该平台支持的Pytorch。目前,在Pytorch官网最高只支持CUDA 11.3,另一个就是CUDA 10.2。而后者在Ubuntu 20.04上是无法安装cuDNN的,于是选择了CUDA 11.3,卸载驱动,重新安装😒~~ 4.安装cuDNN4.1 简介cuDNN是一个用于深度神经网络DNN的GPU加速库,可以在GPU上实现并行计算,显著提高性能。 4.2 安装流程需要注册,有些麻烦,稍安勿躁~~来杯卡布奇诺? 4.3 下载安装包选择和系统CUDA匹配的cuDNN版本。 由于本次配置CUDA 为10.3,因此安装11.x系列的cuDNN. 这里选择for Linux. ?4.4 执行安装命令4.4.1 进入对应安装文件夹
4.4.2 解压
4.4.3 复制文件 + 权限修改
官方安装教程在这里。 4.5 测试安装
最后出现Result = PASS,即安装成功!如下: 5.安装深度学习框架Pytorch官网选择相关属性,参考如下: 然后切换到虚拟环境,执行安装命令即可,参考如下:
测试安装,检查是否支持GPU驱动,参考如下: That's True!! Everything is OK!! 总结本次深度学习环境的配置让我再次明白了一个道理:深入到细节是必然的,但更重要的是从整体上去思考问题。有了全局观念,就不会惑于某一个细节。这也是我的老师所强调的。 因此,大家在配置环境时一定要注意自己的系统版本、CUDA与Pytorch以及CUDA 与cuDNN的依赖关系等等 ,这样也不会像博主一样将CUDA卸载多次才找到了适合的TA~~~~ |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/16 3:13:36- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |