IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> [人工智能-综述-5]:“深度学习”单机学习平台的搭建,详细安装过程(Tensorflow,PyTorch) -> 正文阅读

[人工智能][人工智能-综述-5]:“深度学习”单机学习平台的搭建,详细安装过程(Tensorflow,PyTorch)

作者主页(文火冰糖的硅基工坊):https://blog.csdn.net/HiWangWenBing

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/119065766


第1 部分 “深度学习”软件开发环境的架构

1.1?目标环境架构

?1.2?开发环境架构:Python编程语言

备注:

Python:从上图可以看出,如果选择的编程语言是python,那么无论是tensorflow还是PyTorch,对python而言,他们都是以Python库的形式存在的。

Conda: 是一个开源的软件包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。

PyCharm:是一种Python?IDE(Integrated Development Environment,集成开发环境),带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试语法高亮项目管理、代码跳转、智能提示、自动完成、单元测试版本控制。此外,该IDE提供了一些高级功能,以用于支持Django框架下的专业Web开发。

第1步:个人计算机硬件的选择与搭建

1. 个人计算机版

(1)最低配置:学习原理,训练小模型

  • CPU:双核
  • GPU:无,? ?
  • 内存:4G
  • 硬盘:50G

(2)中配:学习大型模型训练

  • CPU:4核以上
  • GPU:英伟达NVIDIA GPU 1个
  • 内存:16G
  • 硬盘:100G

(3)高配:大型模型训练、优化

  • CPU:16核以上
  • GPU:英伟达NVIDIA GPU 阵列
  • 内存:32G
  • 硬盘:500G

备注:

前期可以根据个人电脑的情况,选择低配或中配,后期训练模型时,可以升级硬件或直接购买云服务。

2. 云服务

上述过程也可以通过购买云服务来实现,每年的服务费取决于购买的配置。

第2步:操作系统的选择与开发环境搭建

(1)Windows:对大多数人而言,在Window构建环境,使用方便,是很多入门者的最简单的选择。

早期的PyTroch不支持Window环境,只支持Linux和MAC,到目前为止,也已经支持windows环境,PyTorch的Windows版本安装在 2018年12月8日,Pytorch1.0正式发布。

(2)Linux:对于很多技术控而言,直接使用Linux是一个自然而言的选择。

(3)MAC:苹果控的最爱。

(4)虚拟机:对于只有windows终端,有需要搭建Linxu环境的人来讲,搭建虚拟机的环境是一个不错的选择。在Windows环境下通过虚拟机的方式搭建Linux或MAC的环境, 如vmware workstation。

本文的案例选择的是Windows,其他操作系统和虚拟机环境,自行到网络上查找。本文仅供参考。

第3步:编程语言的选择与开发环境搭建

3.1 编程语言的选择

不同的框架,支持的编程语言不同,而Python语言是最普遍被支持的语言,本文选择Python

?3.2? Python命令行集成开发环境AnaConda的安装(必选)

AnaConda 是一个开源的软件包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。

网络上有很多AnaConda安装的详细步骤,这里列出关键步骤:

(1)选择下载AnaConda的网站

官网地址:https://www.anaconda.com/distribution/

官方下载地址:https://repo.anaconda.com/archive/

官方文档:https://docs.anaconda.com/anaconda/

国内清华镜像地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

?备注:为了提升安装速度,可以从清华镜像网址下载,安装,否则由于要访问国外网站,速度较慢,还容易造成网络访问超时,导致出错。

(2)选择下载AnaConda的版本

  • Conda的版本与Python的版本不是完全一致的,Conda是一个包管理C具,可以包含多个不同版本的Python,可以通过Conda的虚拟环境来管理不同版本的Python项目。
  • 特定版本的深度学习框架的发行版本皆有所依赖的Python版本,并非最新版本Python版本,因此深度学习框架与最新python版本集成时有可能有不确定的问题。
  • Conda可以通过虚拟环境的方式为不同厂家的深度学习框架,不同版本的深度学习框架建立独立多个各自独立的开发环境。

AnaConda与Python版本对应关系:https://blog.csdn.net/yuejisuo1948/article/details/81043823

可以选择次新版本的AnaConda,以防止最新版本有些未知的问题,

作者选择了一年前的版本:Anaconda3-2020.02-Windows-x86_64.exe

(3)下载:清华镜像,几分钟的时间

(4)安装

?

(5)在命令行下检查anaconda的版本

?C:\Users\Administrator> anaconda -V
anaconda Command line client (version 1.7.2)

(6)在命令行下检查conda的版本

?C:\Users\Administrator> conda --version
conda 4.8.2

?(6) 在命令行下检查python的安装版本

?C:\Users\Administrator> python --version
Python 3.7.6 (default, Jan ?8 2020, 20:23:39) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32

Type "help", "copyright", "credits" or "license" for more information.

(7)修改conda的配置文件,后续更新从清华镜像下载,速度比官网更快

  • 显示当前配置

conda config --show channels??
channels:
? - defaults

  • 添加清华镜像 (添加到配置文件中)

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

  • 擅长清华镜像(在不需要的时候删除)

conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

(8)建立虚拟环境

  • 查看:conda info -e
  • 建立Python2.7虚拟环境:conda create -n python2.7?python=2.7
  • 建立Python3.5虚拟环境:conda create -n python3.5?python=3.5
  • 建立PyTorch虚拟环境:?conda create -n pytorch1.8_py3.8 python=3.8
  • 建立PyTorch虚拟环境:?conda create -n tensorflow2.4_py3.8 python=3.8

(9) 其他命令

conda remove --name xxx --all

conda activate xxx

conda deactivate xxx

(10) 虚拟环境示意:

(base) PS C:\Users\Administrator> conda info -e
# conda environments:
#
base ? ? ? ? ? ? ? ? ?* ?C:\ProgramData\Anaconda3
python2.7 ? ? ? ? ? ? ? ?C:\ProgramData\Anaconda3\envs\python2.7
python3.5 ? ? ? ? ? ? ? ?C:\ProgramData\Anaconda3\envs\python3.5
pytorch1.8_py3.8 ? ? ? ? C:\ProgramData\Anaconda3\envs\pytorch1.8_py3.8
pytorch_py3.6 ? ? ? ? ? ?C:\ProgramData\Anaconda3\envs\pytorch_py3.6
(base) PS C:\Users\Administrator> python --version
Python 3.8.8

(base) PS C:\Users\Administrator> conda activate python2.7

(python2.7) PS C:\Users\Administrator> python --version
Python 2.7.13 :: Continuum Analytics, Inc.
(python2.7) PS C:\Users\Administrator> conda activate pytorch1.8_py3.8
(pytorch1.8_py3.8) PS C:\Users\Administrator> python --version
Python 3.8.10
(pytorch1.8_py3.8) PS C:\Users\Administrator> conda activate pytorch_py3.6
(pytorch_py3.6) PS C:\Users\Administrator> ?python --version
Python 3.6.13 :: Anaconda, Inc.
(pytorch_py3.6) PS C:\Users\Administrator>

第4步:深度学习框架的选择与开发环境

4.1 Tensorflow框架的安装

(1)官网(中国)查看tensorflow与Python之间的关系

https://tensorflow.google.cn/install/source

这里,我们不妨选tensorflow-2.4.0.? python选择3.8

(2)为tensorflow创建conda的虚拟项目环境

conda create -n tensorflow2.4_py3.8 python=3.8

(3)安装tensorflow

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/https://mirrors.tuna.tsinghua.edu.cn/tensorflow/windows/cpu/tensorflow-2.4.0-cp38-cp38m-win_amd64.whl

pip install tensorflow==2.4?-i?https://pypi.tuna.tsinghua.edu.cn/simple

自动寻找tensorflow2.4版本,并执行下载:

(4)检查安装结果

  • 进入python解析器

(pytorch1.8_py3.8) PS C:\Users\Administrator> python ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Python 3.8.10 (default, May 19 2021, 13:12:57) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32

Type "help", "copyright", "credits" or "license" for more information.

  • 导入pytorch库

>>> import tensorflow?as tf

  • 调用pytorch库函数,检查GPU是否支持。

>>> tf.__version__
'2.4.0'
>>>?tf.__path__

['C:\\ProgramData\\Anaconda3\\envs\\tensorflow2.4_py3.8\\lib\\site-packages\\tensorflow', 'C:\\ProgramData\\Anaconda3\\envs\\tensorflow2.4_py3.8\\lib\\site-packages\\tensorflow_estimator\\python\\estimator\\api\\_v2', 'C:\\ProgramData\\Anaconda3\\envs\\tensorflow2.4_py3.8\\lib\\site-packages\\tensorboard\\summary\\_tf', 'C:\\ProgramData\\Anaconda3\\envs\\tensorflow2.4_py3.8\\lib\\site-packages\\tensorflow', 'C:\\ProgramData\\Anaconda3\\envs\\tensorflow2.4_py3.8\\lib\\site-packages\\tensorflow\\_api\\v2']

  • 退出python解析器,回到conda环境

>>> quit()

4.2 PyTorch框架的安装

(1)登录到PyTroch官网

https://pytorch.org/

根据自己的实际环境配置PyTroch,获取安装命令。

(2)不带GPU硬件平台的PyTroch的安装

备注:选择此安装,在人工神经网络训练时,就不能选择GPU, 只能选择cpu,对于没有GPU的硬件平台,这样的安装可以节省硬盘空间。

conda install pytorch torchvision torchaudio cpuonly -c pytorch

(3)带GPU硬件平台的PyTroch的安装(需要大致10min)

备注:选择此安装,在人工神经网络训练时,可以选择cpu,也可选择GPU,对于有GPU的硬件平台,这样的选择后续根据的灵活,但需要更多的硬盘工具存放安装包。

激活pytorch环境:conda activate pytorch1.8_py3.8

安装pytorch最新版本:?conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

??安装pytorch1.8版本:? ?conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cpuonly -c pytorch

(4)检验安装

  • 进入python解析器

(pytorch1.8_py3.8) PS C:\Users\Administrator> python ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Python 3.8.10 (default, May 19 2021, 13:12:57) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32

Type "help", "copyright", "credits" or "license" for more information.

  • 导入pytorch库

>>> import torch

  • 调用pytorch库函数,检查GPU是否支持。

>>> torch.cuda.is_available()
False

  • 退出python解析器,回到conda环境

>>> quit()

第5步:Python图形化集成开发环境PyCharm?的安装(可选)


作者主页(文火冰糖的硅基工坊):https://blog.csdn.net/HiWangWenBing

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/119065766

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-07-27 16:13:42  更:2021-07-27 16:14:29 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/17 20:32:18-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码