Google colaboratory使用笔记
介绍
Google colaboratory是google提供的一个免费的云服务器,Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter notebook环境,不需要进行任何设置就可以使用,并且完全在云端运行。
使用步骤
1.google colaboratory 配置
科学上网注册自己的google账户,进入google云盘,在其中创建一个文件夹,例如colabNotebooks。
右键单击创建的文件夹内右窗格中的其他位置,选择More>Colaboratory。弹出另一个窗口,您可以将笔记本命名为test.ipynb
在笔记本中,选择Runtime > Change runtime type。将弹出一个窗口。然后选择运行时间类型,从硬件加速器下拉菜单中选择GPU并保存设置(还有TPU的选择)
设置好gpu之后我们创建第一个code,点击左侧按钮运行单元格。
安装调用Google drive API,运行下面代码,点击结果中链接,获取授权码,并填入完成Google drive的的授权。
!pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)
挂载后可以通过linux命令访问google云盘,如果在训练时候觉得速度慢,可以将drive东西放入虚拟服务器中,避免io交互时间。后面我将在google colaboratory训练模型并保存到云盘。
注意事项
-
Google Colab是一个notebook环境,可看成是一台带有GPU的Ubuntu虚拟机,只不过我们只能用命令行的方式操作它。你可以选择执行系统命令,亦或是直接编写运行python代码。
-
每次访问Google Colab,会重新分配一个虚拟机,以前的代码和数据会丢失。如果要保存数据和代码,可以将其保存到Google Drive(谷歌云端硬盘)。
-
挂载完Google Drive,会在虚拟机里生成一个drive文件夹,直接将Google Drive当成是一块硬盘即可。访问drive文件夹里的文件,就是在访问你的Google Drive里的文件。在Colab的代码cell中输入以下代码,会返回一个链接,点击链接登陆谷歌账户后,会有一个授权码,复制授权码,输入至表单后,就可在该虚拟机中访问谷歌云端硬盘。
-
.Colab最多连续使用12小时,超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。(好像再次连接到虚拟机后,虚拟机是被清空的状态,需要重新配置和安装库等等)
-
colab免费版本目前分配的显卡为tesla T4。
-
colab与linux环境指令类似,仅需要在指令前添加“!”即可。
-
导入数据的三种方式:
直接上传文件
上传Google Drive并挂载导入
从github仓库下载导入 -
缺点是网络不稳定,每隔一段时间要点进来连接,一旦长时间不重新连接就会停止运行。
-
内存不够大,大数据会出问题。