[人工智能]工具推荐-Colab介绍与使用方法

工具推荐-Colab介绍与使用方法

之所以能够接触到Colab，是由一位好朋友的推荐，首先得先感谢他安利了这么好的一个东西，哈哈哈！我先浅聊一下我目前对这个Colab的理解吧，我认为它就相当于一台云主机，由Google 云端硬盘作为存储地，所以首先得要有Google 云端硬盘，它可以在Google硬盘上面搭建起来，然后可以在文件夹下新建像Jupyter里面那样的notebook文件，关联Colab，可以运行代码了。

为什么说它好呐？对于我来说，我的Anaconda安装在了C盘，学习深度学习等方面的东西时，C盘存储空间在不断地减少，而且下载一些库文件和安装包，都必须在C盘，这样本就不富裕的家庭又雪上加霜，哈哈哈哈！而用这个Colab，我就不用把文件都存储在本机了，感觉可以跟Anaconda说拜拜了。同时这个玩意儿还有一个听起来很厉害的东西，就是可以将代码运行设置为GPU模式（硬盘会分配很厉害的GPU），运行数据集会相当的快！之前我训练数据集，本机上运行的特别慢，每次都要等，这玩意我刚入门，我试了试安装tensorflow，真的运行很快啊！一些强大的功能目前还没有机会尝试，安装完就来写这篇文章了，以后如果遇到什么问题，会再更新这方面的内容。

我忙活了了一下午加一晚上，总算初步入门，同时走了一些弯路，想记录下来以帮助更多的朋友！

Colab是什么？

1. Google Colab 是一个免费的云服务并支持免费的 GPU
2. Colab 是Google的且服务器在国外

只需要在 Google Drive 上，安装 colab 即可使用。如果需要上传数据，可以上传到 Google Drive 上，并在 colab 中挂载，就可以直接访问。

显卡：V100、P100、T4 等训练主流显卡，显存 16 G。

磁盘存储：15 G，可使用 Google Drive 扩容。

时间限制：每次 12 个小时。

但是它有明显的问题，需要梯子，毕竟是 Google 的产品。

Colab的基本配置

1、搜索谷歌云硬盘（https://www.google.com/intl/zh-CN/drive/），点击“转至Google云端硬盘”

2、使用谷歌账号登陆（没有账号的可以自行注册)

3、安装Colab

按下图右击->更多->关联更多应用

4、搜索Colab，并添加（按下图步骤安装）

5、安装成功后（右击->更多）发现有一个Colaboratory

6、使用Colab

在 Google Drive 上创建文件夹，这是我的文件夹目录，创建分级文件夹就是为了更好的管理你的代码文件。

7、初步测试代码

点击进入你想放代码的文件夹里面，右击页面的空白处，点击More->Google ColaBoratory，接下来就会看到你熟悉的界面了

然后可以笔记本设置（设置为GPU）

8、装载谷歌云

? 点击左侧文件夹（查看目录），等待右侧连接状态为已连接，最后点击装载谷歌云硬盘

装载完成之后（继续点击左侧文件夹），会发现多了一个drive目录（drive/My Drive/Colab）其中的Colab就是我们刚刚创建的文件夹，Colab文件夹下的是我们的项目文件。

我不太清楚装载云端硬盘是什么意思，也不清楚为什么这么做，我在网上搜索说的是，谷歌硬盘和colab是分开的，我们需要将硬盘挂载到colab上面，优点：在colab中就可以直接读写google drive的目录,模型可以直接保存在dirve上非常方便。还是不太懂。。。。不过应该是有好处的吧。。。

9、使用Colab

查看当前脚本目录（!ls）点击运行

进入项目

import os
path = "/content/drive/My Drive/Colab/Notebooks/17.yoloV3"
os.chdir(path)

测试我项目里的数据集，至于我是如何把数据集上传到Google 云端硬盘的，请接着看看下去！

from dataset.vocdata_tfrecord import load_labels,write_to_tfrecord
import os

发现可以运行成功

实际上我喜欢直接在项目的当下目录，新建一个Colab关联的文件，也就是那个写代码的文件，然后运行以下代码

# 加载盘
from google.colab import drive
drive.mount('/content/drive/')

# 指定当前的工作文件夹
import os
# 此处为google drive中的文件路径,drive为之前指定的工作根目录，要加上
os.chdir("/content/drive/My Drive/Colab/Notebooks/17.yoloV3") 

安装一些库的命令行，例如安装pytorch

Colab 一般情况下已经自带了pytorch环境了。若没有可以进行相应的安装：

!pip install torch torchvision  # 在Colab中执行操作语句时，感叹号不能漏

安装tensorflow也是类似的。

到此基本上算是入门Colab了， 明天我就可以用它运行我的代码了，再也不用本机的Jupyter，哈哈哈！

遇到的麻烦解决

解决colab上传数据集慢的问题

前面别看似我挺顺利的，实际上我下午加晚上大部分时间都浪费在这上面了，从本地上传到Google 云端硬盘太慢了，不建议直接上传，同时建议先把上传到文件夹打成压缩包的形式，接下来我将讲一讲怎么上传比较快。

1、将文件先上传到OneDrive上

不建议用网页版的OneDrive，光是上传文件就贼慢贼慢（估计是文件上传和同步一起来），直接用电脑自带的OneDrive

将压缩文件复制到文档这个文件夹下面，我的这个压缩包有1个G，复制的速度很快，接下来就是同步，建议找个网速快的地方，学校的校园网我发现是真滴慢，我用流量同步的，心疼1个G的流量。。。。

接下来这个OneDrive小窗口，就会显示让你同步，耗费流量的。。。速度也还行！

最后利用MultCloud拓展程序，将文件从OneDrive上传到Google 云端硬盘上，直接加到Google浏览器的拓展程序就好，在应用商店下载

进去之后界面是这样的，点击Add Cloud

将Google Drive和OneDrive都添加进来，然后点击Cloud Transfer，左边是OneDrive的文件目录，右边是Google Drive文件目录

最后点击Transfer Now ，这个速度非常地块，大功造成！

然后就可以在你的Google 云端硬盘的目录下看到你的文件了，不过别高兴太早，这还只是压缩包，还没解压类，解压也弄的我差点自闭。。。。

解压：首先挂载好谷歌云盘，我就是这一步没做，然后运行别人写的解压命令，一直都是找不到本地目录，真的要自闭了。。。因为他们的解压代码文件路径都有/content/drive/My Drive开头，我没有挂载是肯定没有这个drive文件目录。。。。所以一直会报错！

import os
from google.colab import drive
drive.mount('/content/drive')

path = "/content/drive/My Drive"

os.chdir(path)
os.listdir(path)

然后运行下面的代码，文件目录和输出目录都按照你自己的就好了，最后显示成功运行

!pip install pyunpack
!pip install patool
from pyunpack import Archive
Archive('/content/drive/My Drive/Colab/Notebooks/yoloV3.rar').extractall('/content/drive/My Drive/Colab/Notebooks')

我的云端硬盘里也有了这个文件夹，最后的压缩包没用给删了。

google云端硬盘无法连接到代码执行程序。

这个是我设置计算机为GPU模式的时候一直遇到的，不知道为啥，可能是不想让我用吧，我一般都默默的换成None。。。。

参考文章

我看了很多的博客文章，最终终于完成了Colab的入门，希望我写的文章能对您有所帮助，如果对我写的东西还不太理解，可以康康这些参考文章！看到这里了，不妨来个赞吧，哈哈哈哈！

https://mp.weixin.qq.com/s/zYU3RY6dgH4pCWyW-WCRwQ 教白嫖gpu服务器

https://zhuanlan.zhihu.com/p/54389036 苦逼学生党的Google Colab使用心得
https://blog.csdn.net/qq_36890370/article/details/106160805 Colab使用教程
https://www.cnblogs.com/zgqcn/p/11186406.html colab实用教程
https://www.freesion.com/article/42081149133/ 解决colab上传数据集慢的问题

如何使用Google Colab 在线解压GoogleDrive里的RAR ZIP等压缩包https://www.uud.me/qiwenzalun/colab-unzip-unrar.html
Colab如何解压rar和zip文件https://blog.csdn.net/weixin_42870380/article/details/114731820

最后google云端硬盘无法连接到代码执行程序。