IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> 在离线服务器上创建深度学习虚拟环境 -> 正文阅读

[系统运维]在离线服务器上创建深度学习虚拟环境

前言:

  • 有些学校的服务器只能采用内网的方式进行访问,无法访问外界的互联网,所以环境所需的配置文件大多只能采用U盘拷贝或者ssh内网传送。
  • 但是直接在离线的服务器上创建虚拟环境可能会出现一些问题,所以直接在可访问外网的本地客户机配置好相关的环境,在将环境传输到服务器上进行使用。

适用范围:

  • 安装虚拟机Linux教程
  • Linux平台下的Anaconda虚拟环境配置
  • 离线服务器环境创建等

一、安装虚拟机

虚拟机安装过程可以参考这篇文章vmware虚拟机安装Ubuntu全过程
如果觉得虚拟机比较麻烦,那么大佬可以直接使用Window10平台下的Linux子系统安装,本文以虚拟机为例。

1.虚拟机软件和Ubuntu下载链接

VMware workstation虚拟机的链接阿里云盘下载和Ubuntu18.04的下载链接

2.注意事项

1安装的第16步中,“虚拟化CPU性能计数器”可以不选,选了后续可能会出bug。
在这里插入图片描述
2安装完成后系统界面过小如何解决:

第1步:安装开源软件  sudo apt-get install open-vm-tools
第2步:第二步 :  sudo apt-get install open-vm*   ,安装后直接打开全屏即可。
若屏幕没有改变则重启一下即可。

3换源:换成国内源

第1步:vim /etc/apt/sources.list
第2步:在文本中添加下面的源链接
deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
第3步:apt-get update

以上为虚拟机Linux安装部分,遇到问题百度解决。

二、Linux平台下Anaconda虚拟环境配置

1. Anaconda安装

第一步:首先在指定目录下下载Anaconda的Linux版本,在该网页链接中寻找自己所需的Anaconda版本,终端如下:

#注释:这是下载Anaconda3-2020.11-Linux-x86_64.sh版本的举例
wget https://repo.continuum.io/archive/Anaconda3-2020.11-Linux-x86_64.sh

第二步:安装Anaconda

bash Anaconda3-5.0.1-Linux-x86_64.sh

第三步:检查Anaconda是否安装好

1. 打开终端输入:sudo gedit ~/.bashrc 
2. 在打开的文档中输入:export PATH="/home/peng/anaconda3/bin:$PATH" 
(上面的路径是自己的Anaconda装的路径,每个人不同,根据自己的环境情况进行比划)
3. 输入:source ~/.bashrc,令配置生效
4. 查看版本:conda --version
5. 输入python3,发现是Anaconda安装的版本

2. 配置自己所需的深度学习环境

  • 方法:在本地客户机(个人PC)上联网配置深度学习环境,打包转移到目标服务器上。
  • 个人建议:在这里我的想法是,程序可以先在本地微调,然后将程序所需要的环境直接打包,再到服务器当中去跑。在离线服务器上无法连接互联网装环境,所以不推荐在服务器上装环境。

第一步:创建虚拟环境,提供两个方法:
env_name 为自己定义的虚拟环境的名称

# 方法一:克隆一个环境 (优点是操作速度快,缺点是占用存储大)
conda create -n env_name  --clone base
# 方法二:重新创建一个新环境(优点是占用存储小,缺点是需要手动装所需的第三方库,python版本自己指定)
conda create -n env_name python=3.8 
# 激活环境:
conda activate env_name

第二步:安装所需要的库

备注:对于深度学习类的第三方库,不推荐直接conda install 或者pip install ,因为大概率会下到 cpu 版本的 torch,所以要先下载好whl文件进行下载,比如torch各个版本的下载界面torch各个版本的下载界面

# 下载好文件后
pip install torch-1.7.1+cu110-cp38-cp38m-linux_x86_64.whl 
pip install torchvision-0.8.1+cu110-cp38-cp38m-linux_x86_64.whl

第三步:测试安装情况

python
>>> import torch
>>> torch.cuda.is_available()
True  

3. 打包虚拟环境传送到服务器

第一步:然后将anaconda3/envs/env_name 进行打包

tar -cvf env_name.tar env_name/           #压缩虚拟环境

第二步:使用U盘或者ssh将压缩后的文件传输到服务器

第三步:将压缩包复制到服务器上的anaconda3/envs目录下,然后在这个目录下打开终端输入:

tar -xvf env_name.tar  # 解压

第四步:在服务器上添加深度学习环境到环境列表,最后在目标计算机修改conda的环境配置文件==~/.conda/envirement.txt==,在尾部添加拷贝的环境目录

终端输入:vim ~/.conda/envirement.txt

输入的内容如下:

# 结合服务器的实际情况填写
/home/peng/anaconda3                   
/home/peng/anaconda3/envs/envirement

第五部:使用conda env list检查环境是否创建成功,使用conda activate envirement激活环境后可通过具体程序测试具体程序包是否安装成功

三、使用Pycharm远程连接服务器

不在赘述,网上的教程比较多,推荐这一篇《pycharm远程连接服务器完整教程》

四、附赠:常用的conda虚拟环境相关命令

#创建虚拟环境
conda create -n your_env_name python=X.X(3.6、3.7等)
 
#激活虚拟环境
source activate your_env_name(虚拟环境名称)
 
#退出虚拟环境
source deactivate your_env_name(虚拟环境名称)
 
#删除虚拟环境
conda remove -n your_env_name(虚拟环境名称) --all
 
#查看安装了哪些包
conda list
 
#安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包
 
#查看当前存在哪些虚拟环境
conda env list 
#或 
conda info -e
#或
conda info --envs
 
#检查更新当前conda
conda update conda
 
#更新anaconda
conda update anaconda
 
#更新所有库
conda update --all
 
#更新python
conda update python


参考博客

  1. 离线搭建深度学习环境
  2. ubuntu系统离线搭建深度学习环境
  3. 2020-11-02-Ubuntu 20.04安装Anaconda3-卸载Anaconda3-笔记
  4. pycharm远程连接服务器完整教程
  5. vmware虚拟机安装Ubuntu全过程
  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2022-04-24 09:50:00  更:2022-04-24 09:52:40 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/15 20:03:20-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码