前言:
- 有些学校的服务器只能采用内网的方式进行访问,无法访问外界的互联网,所以环境所需的配置文件大多只能采用U盘拷贝或者ssh内网传送。
- 但是直接在离线的服务器上创建虚拟环境可能会出现一些问题,所以直接在可访问外网的本地客户机配置好相关的环境,在将环境传输到服务器上进行使用。
适用范围:
- 安装虚拟机Linux教程
- Linux平台下的Anaconda虚拟环境配置
- 离线服务器环境创建等
一、安装虚拟机
虚拟机安装过程可以参考这篇文章vmware虚拟机安装Ubuntu全过程 如果觉得虚拟机比较麻烦,那么大佬可以直接使用Window10平台下的Linux子系统安装,本文以虚拟机为例。
1.虚拟机软件和Ubuntu下载链接
VMware workstation虚拟机的链接阿里云盘下载和Ubuntu18.04的下载链接
2.注意事项
1安装的第16步中,“虚拟化CPU性能计数器”可以不选,选了后续可能会出bug。 2安装完成后系统界面过小如何解决:
第1步:安装开源软件 sudo apt-get install open-vm-tools
第2步:第二步 : sudo apt-get install open-vm* ,安装后直接打开全屏即可。
若屏幕没有改变则重启一下即可。
3换源:换成国内源
第1步:vim /etc/apt/sources.list
第2步:在文本中添加下面的源链接
deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
第3步:apt-get update
以上为虚拟机Linux安装部分,遇到问题百度解决。
二、Linux平台下Anaconda虚拟环境配置
1. Anaconda安装
第一步:首先在指定目录下下载Anaconda的Linux版本,在该网页链接中寻找自己所需的Anaconda版本,终端如下:
#注释:这是下载Anaconda3-2020.11-Linux-x86_64.sh版本的举例
wget https://repo.continuum.io/archive/Anaconda3-2020.11-Linux-x86_64.sh
第二步:安装Anaconda
bash Anaconda3-5.0.1-Linux-x86_64.sh
第三步:检查Anaconda是否安装好
1. 打开终端输入:sudo gedit ~/.bashrc
2. 在打开的文档中输入:export PATH="/home/peng/anaconda3/bin:$PATH"
(上面的路径是自己的Anaconda装的路径,每个人不同,根据自己的环境情况进行比划)
3. 输入:source ~/.bashrc,令配置生效
4. 查看版本:conda --version
5. 输入python3,发现是Anaconda安装的版本
2. 配置自己所需的深度学习环境
- 方法:在本地客户机(个人PC)上联网配置深度学习环境,打包转移到目标服务器上。
- 个人建议:在这里我的想法是,程序可以先在本地微调,然后将程序所需要的环境直接打包,再到服务器当中去跑。在离线服务器上无法连接互联网装环境,所以不推荐在服务器上装环境。
第一步:创建虚拟环境,提供两个方法: env_name 为自己定义的虚拟环境的名称
# 方法一:克隆一个环境 (优点是操作速度快,缺点是占用存储大)
conda create -n env_name --clone base
# 方法二:重新创建一个新环境(优点是占用存储小,缺点是需要手动装所需的第三方库,python版本自己指定)
conda create -n env_name python=3.8
# 激活环境:
conda activate env_name
第二步:安装所需要的库
备注:对于深度学习类的第三方库,不推荐直接conda install 或者pip install ,因为大概率会下到 cpu 版本的 torch,所以要先下载好whl文件进行下载,比如torch各个版本的下载界面torch各个版本的下载界面
# 下载好文件后
pip install torch-1.7.1+cu110-cp38-cp38m-linux_x86_64.whl
pip install torchvision-0.8.1+cu110-cp38-cp38m-linux_x86_64.whl
第三步:测试安装情况
python
>>> import torch
>>> torch.cuda.is_available()
True
3. 打包虚拟环境传送到服务器
第一步:然后将anaconda3/envs/env_name 进行打包
tar -cvf env_name.tar env_name/ #压缩虚拟环境
第二步:使用U盘或者ssh将压缩后的文件传输到服务器
第三步:将压缩包复制到服务器上的anaconda3/envs目录下,然后在这个目录下打开终端输入:
tar -xvf env_name.tar # 解压
第四步:在服务器上添加深度学习环境到环境列表,最后在目标计算机修改conda的环境配置文件==~/.conda/envirement.txt==,在尾部添加拷贝的环境目录
终端输入:vim ~/.conda/envirement.txt
输入的内容如下:
# 结合服务器的实际情况填写
/home/peng/anaconda3
/home/peng/anaconda3/envs/envirement
第五部:使用conda env list检查环境是否创建成功,使用conda activate envirement激活环境后可通过具体程序测试具体程序包是否安装成功
三、使用Pycharm远程连接服务器
不在赘述,网上的教程比较多,推荐这一篇《pycharm远程连接服务器完整教程》
四、附赠:常用的conda虚拟环境相关命令
#创建虚拟环境
conda create -n your_env_name python=X.X(3.6、3.7等)
#激活虚拟环境
source activate your_env_name(虚拟环境名称)
#退出虚拟环境
source deactivate your_env_name(虚拟环境名称)
#删除虚拟环境
conda remove -n your_env_name(虚拟环境名称) --all
#查看安装了哪些包
conda list
#安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包
#查看当前存在哪些虚拟环境
conda env list
#或
conda info -e
#或
conda info --envs
#检查更新当前conda
conda update conda
#更新anaconda
conda update anaconda
#更新所有库
conda update --all
#更新python
conda update python
参考博客
- 离线搭建深度学习环境
- ubuntu系统离线搭建深度学习环境
- 2020-11-02-Ubuntu 20.04安装Anaconda3-卸载Anaconda3-笔记
- pycharm远程连接服务器完整教程
- vmware虚拟机安装Ubuntu全过程
|