工具推荐-Colab介绍与使用方法
之所以能够接触到Colab,是由一位好朋友的推荐,首先得先感谢他安利了这么好的一个东西,哈哈哈!我先浅聊一下我目前对这个Colab的理解吧,我认为它就相当于一台云主机,由Google 云端硬盘作为存储地,所以首先得要有Google 云端硬盘,它可以在Google硬盘上面搭建起来,然后可以在文件夹下新建像Jupyter里面那样的notebook文件,关联Colab,可以运行代码了。
为什么说它好呐?对于我来说,我的Anaconda安装在了C盘,学习深度学习等方面的东西时,C盘存储空间在不断地减少,而且下载一些库文件和安装包,都必须在C盘,这样本就不富裕的家庭又雪上加霜,哈哈哈哈!而用这个Colab,我就不用把文件都存储在本机了,感觉可以跟Anaconda说拜拜了。同时这个玩意儿还有一个听起来很厉害的东西,就是可以将代码运行设置为GPU模式(硬盘会分配很厉害的GPU),运行数据集会相当的快!之前我训练数据集,本机上运行的特别慢,每次都要等,这玩意我刚入门,我试了试安装tensorflow,真的运行很快啊!一些强大的功能目前还没有机会尝试,安装完就来写这篇文章了,以后如果遇到什么问题,会再更新这方面的内容。
我忙活了了一下午加一晚上,总算初步入门,同时走了一些弯路,想记录下来以帮助更多的朋友!
Colab是什么?
- Google Colab 是一个免费的云服务并支持免费的 GPU
- Colab 是Google的且服务器在国外
只需要在 Google Drive 上,安装 colab 即可使用。如果需要上传数据,可以上传到 Google Drive 上,并在 colab 中挂载,就可以直接访问。
显卡:V100、P100、T4 等训练主流显卡,显存 16 G。
磁盘存储:15 G,可使用 Google Drive 扩容。
时间限制:每次 12 个小时。
但是它有明显的问题,需要梯子,毕竟是 Google 的产品。
Colab的基本配置
1、搜索谷歌云硬盘(https://www.google.com/intl/zh-CN/drive/),点击“转至Google云端硬盘”
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MtfNYXU8-1646314231750)(笔记图片/image-20220303200906638.png)]](https://img-blog.csdnimg.cn/1ab80d74f8724fd5b1785ccf64021733.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
2、使用谷歌账号登陆(没有账号的可以自行注册)
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kqcCas8J-1646314231751)(笔记图片/image-20220303201227335.png)]](https://img-blog.csdnimg.cn/a1c9f740c15d4c34b2ed8c31d4ce41bd.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_10,color_FFFFFF,t_70,g_se,x_16)
3、安装Colab
按下图右击->更多->关联更多应用
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PkA94ydU-1646314231751)(笔记图片/image-20220303201525886.png)]](https://img-blog.csdnimg.cn/4aeb438ce38e42b6a4f01ab02508d06e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
4、搜索Colab,并添加(按下图步骤安装)
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-18rcUeic-1646314231752)(笔记图片/image-20220303201800286.png)]](https://img-blog.csdnimg.cn/4a3122525256468fb6e4aaf52d03a987.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
5、安装成功后(右击->更多)发现有一个Colaboratory
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1yOdz6e5-1646314231752)(笔记图片/image-20220303201851406.png)]](https://img-blog.csdnimg.cn/6c0e0a49b76a4e05ad17a1959d5db657.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
6、使用Colab
在 Google Drive 上创建文件夹,这是我的文件夹目录,创建分级文件夹就是为了更好的管理你的代码文件。
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eBoloxIu-1646314231752)(../唐宇迪-python数据分析与机器学习实战/学习随笔/06线性回归算法&梯度下降策略&逻辑回归算法/笔记图片/image-20220303202003382.png)]](https://img-blog.csdnimg.cn/cdffeec2490342fcabf394dc849c40cc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_9,color_FFFFFF,t_70,g_se,x_16)
7、初步测试代码
点击进入你想放代码的文件夹里面,右击页面的空白处,点击More->Google ColaBoratory,接下来就会看到你熟悉的界面了
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RWzCnepT-1646314231753)(笔记图片/image-20220303202335081.png)]](https://img-blog.csdnimg.cn/f1c8927fd2584dd7a7af85c15d2350bc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M2rhgqqC-1646314231754)(笔记图片/image-20220303202456698.png)]](https://img-blog.csdnimg.cn/c5146e525f604bf798e75bc8c1b83055.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
然后可以笔记本设置(设置为GPU)
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IFAklFLi-1646314231755)(笔记图片/image-20220303202805764.png)]](https://img-blog.csdnimg.cn/0240ba0816754b66b823eac79bc57261.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_18,color_FFFFFF,t_70,g_se,x_16)
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FqhvNRHR-1646314231755)(笔记图片/image-20220303202826937.png)]](https://img-blog.csdnimg.cn/5dc2186debf1459a89ceeaf5cf034a17.png)
8、装载谷歌云
? 点击左侧文件夹(查看目录),等待右侧连接状态为已连接,最后点击装载谷歌云硬盘
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-88KlGF7s-1646314231757)(笔记图片/image-20220303203230588.png)]](https://img-blog.csdnimg.cn/0b059867b47a4d49b9614572246c3a2d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
装载完成之后(继续点击左侧文件夹),会发现多了一个drive目录(drive/My Drive/Colab)其中的Colab就是我们刚刚创建的文件夹,Colab文件夹下的是我们的项目文件。
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HuIOU5wK-1646314231757)(笔记图片/image-20220303203348880.png)]](https://img-blog.csdnimg.cn/5deccbe685184096b7ff8bc6a99988a8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_18,color_FFFFFF,t_70,g_se,x_16)
我不太清楚装载云端硬盘是什么意思,也不清楚为什么这么做,我在网上搜索说的是,谷歌硬盘和colab是分开的,我们需要将硬盘挂载到colab上面,优点:在colab中就可以直接读写google drive的目录,模型可以直接保存在dirve上非常方便。还是不太懂。。。。不过应该是有好处的吧。。。
9、使用Colab
查看当前脚本目录(!ls)点击运行
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mhAzYhU0-1646314231758)(笔记图片/image-20220303203545730.png)]](https://img-blog.csdnimg.cn/1852ee4e46804f38aa2a68cf32561600.png)
进入项目
import os
path = "/content/drive/My Drive/Colab/Notebooks/17.yoloV3"
os.chdir(path)
测试我项目里的数据集,至于我是如何把数据集上传到Google 云端硬盘的,请接着看看下去!
from dataset.vocdata_tfrecord import load_labels,write_to_tfrecord
import os
发现可以运行成功
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ct9U4B5d-1646314231758)(笔记图片/image-20220303204601818.png)]](https://img-blog.csdnimg.cn/548f7109a81c46b38a84a8dd464e17a0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
实际上我喜欢直接在项目的当下目录,新建一个Colab关联的文件,也就是那个写代码的文件,然后运行以下代码
from google.colab import drive
drive.mount('/content/drive/')
import os
os.chdir("/content/drive/My Drive/Colab/Notebooks/17.yoloV3")
安装一些库的命令行,例如安装pytorch
Colab 一般情况下已经自带了pytorch环境了。若没有可以进行相应的安装:
!pip install torch torchvision
安装tensorflow也是类似的。
到此基本上算是入门Colab了, 明天我就可以用它运行我的代码了,再也不用本机的Jupyter,哈哈哈!
遇到的麻烦解决
解决colab上传数据集慢的问题
前面别看似我挺顺利的,实际上我下午加晚上大部分时间都浪费在这上面了,从本地上传到Google 云端硬盘太慢了,不建议直接上传,同时建议先把上传到文件夹打成压缩包的形式,接下来我将讲一讲怎么上传比较快。
1、将文件先上传到OneDrive上
不建议用网页版的OneDrive,光是上传文件就贼慢贼慢(估计是文件上传和同步一起来),直接用电脑自带的OneDrive
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VsAOlpy6-1646314231759)(笔记图片/image-20220303210334889.png)]](https://img-blog.csdnimg.cn/47b2326828494193ab6e077b999f4586.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
将压缩文件复制到文档这个文件夹下面,我的这个压缩包有1个G,复制的速度很快,接下来就是同步,建议找个网速快的地方,学校的校园网我发现是真滴慢,我用流量同步的,心疼1个G的流量。。。。
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0MUloIvJ-1646314231760)(笔记图片/image-20220303210437601.png)]](https://img-blog.csdnimg.cn/cd761962c3bb41c4a03fd76df7e5d79f.png)
接下来这个OneDrive小窗口,就会显示让你同步,耗费流量的。。。速度也还行!
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kzfcYiYT-1646314231760)(笔记图片/image-20220303210631827.png)]](https://img-blog.csdnimg.cn/aab429596716450498be8e96f7997f43.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_14,color_FFFFFF,t_70,g_se,x_16)
最后利用MultCloud拓展程序,将文件从OneDrive上传到Google 云端硬盘上,直接加到Google浏览器的拓展程序就好,在应用商店下载
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OuF6I30l-1646314231761)(笔记图片/image-20220303211320001.png)]](https://img-blog.csdnimg.cn/771f7e16904d4b59a361720249ae1bac.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
进去之后界面是这样的,点击Add Cloud
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RweN0b2X-1646314231761)(笔记图片/image-20220303211421088.png)]](https://img-blog.csdnimg.cn/71ba7f975c0b4b5b896f8ddc175f6608.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
将Google Drive和OneDrive都添加进来,然后点击Cloud Transfer,左边是OneDrive的文件目录,右边是Google Drive文件目录
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3KBzEXnx-1646314231761)(笔记图片/image-20220303211518284.png)]](https://img-blog.csdnimg.cn/821f609a463d4b6fa9bf8dbdb841a0ae.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
最后点击Transfer Now ,这个速度非常地块,大功造成!
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4xTM63KS-1646314231761)(笔记图片/image-20220303211715831.png)]](https://img-blog.csdnimg.cn/59c87b833ef44bfd8666eef86d2426af.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
然后就可以在你的Google 云端硬盘的目录下看到你的文件了,不过别高兴太早,这还只是压缩包,还没解压类,解压也弄的我差点自闭。。。。
解压:首先挂载好谷歌云盘,我就是这一步没做,然后运行别人写的解压命令,一直都是找不到本地目录,真的要自闭了。。。因为他们的解压代码文件路径都有/content/drive/My Drive开头,我没有挂载是肯定没有这个drive文件目录。。。。所以一直会报错!
import os
from google.colab import drive
drive.mount('/content/drive')
path = "/content/drive/My Drive"
os.chdir(path)
os.listdir(path)
然后运行下面的代码,文件目录和输出目录都按照你自己的就好了,最后显示成功运行
!pip install pyunpack
!pip install patool
from pyunpack import Archive
Archive('/content/drive/My Drive/Colab/Notebooks/yoloV3.rar').extractall('/content/drive/My Drive/Colab/Notebooks')
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tYQm1I90-1646314231762)(笔记图片/image-20220303212337984.png)]](https://img-blog.csdnimg.cn/a07bab83dcc641b0870e2f78be3d0547.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
我的云端硬盘里也有了这个文件夹,最后的压缩包没用给删了。
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-udGClTsK-1646314231763)(笔记图片/image-20220303212411463.png)]](https://img-blog.csdnimg.cn/6729cfbc1ae74f77bd8560f3ad23e824.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5pyA55m944Gu55m96I-c,size_20,color_FFFFFF,t_70,g_se,x_16)
google云端硬盘无法连接到代码执行程序。
这个是我设置计算机为GPU模式的时候一直遇到的,不知道为啥,可能是不想让我用吧,我一般都默默的换成None。。。。
参考文章
我看了很多的博客文章,最终终于完成了Colab的入门,希望我写的文章能对您有所帮助,如果对我写的东西还不太理解,可以康康这些参考文章!看到这里了,不妨来个赞吧,哈哈哈哈!
https://mp.weixin.qq.com/s/zYU3RY6dgH4pCWyW-WCRwQ 教白嫖gpu服务器
https://zhuanlan.zhihu.com/p/54389036 苦逼学生党的Google Colab使用心得 https://blog.csdn.net/qq_36890370/article/details/106160805 Colab使用教程 https://www.cnblogs.com/zgqcn/p/11186406.html colab实用教程 https://www.freesion.com/article/42081149133/ 解决colab上传数据集慢的问题
如何使用Google Colab 在线解压GoogleDrive里的RAR ZIP等压缩包https://www.uud.me/qiwenzalun/colab-unzip-unrar.html Colab如何解压rar和zip文件https://blog.csdn.net/weixin_42870380/article/details/114731820
最后google云端硬盘无法连接到代码执行程序。
|