Google colaboratory使用笔记

Google colaboratory使用笔记

介绍

Google colaboratory是google提供的一个免费的云服务器,Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter notebook环境,不需要进行任何设置就可以使用,并且完全在云端运行。

使用步骤

1.google colaboratory 配置

科学上网注册自己的google账户,进入google云盘,在其中创建一个文件夹,例如colabNotebooks。
在这里插入图片描述dasdas

右键单击创建的文件夹内右窗格中的其他位置,选择More>Colaboratory。弹出另一个窗口,您可以将笔记本命名为test.ipynb
在这里插入图片dsadasd描述
在笔记本中,选择Runtime > Change runtime type。将弹出一个窗口。然后选择运行时间类型,从硬件加速器下拉菜单中选择GPU并保存设置(还有TPU的选择)
在这里插入图片描述
设置好gpu之后我们创建第一个code,点击左侧按钮运行单元格。

在这里插入图片描述
安装调用Google drive API,运行下面代码,点击结果中链接,获取授权码,并填入完成Google drive的的授权。

!pip install -U -q PyDrive

from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

在这里插入图片描述
挂载后可以通过linux命令访问google云盘,如果在训练时候觉得速度慢,可以将drive东西放入虚拟服务器中,避免io交互时间。后面我将在google colaboratory训练模型并保存到云盘。

注意事项

  1. Google Colab是一个notebook环境,可看成是一台带有GPU的Ubuntu虚拟机,只不过我们只能用命令行的方式操作它。你可以选择执行系统命令,亦或是直接编写运行python代码。

  2. 每次访问Google Colab,会重新分配一个虚拟机,以前的代码和数据会丢失。如果要保存数据和代码,可以将其保存到Google Drive(谷歌云端硬盘)。

  3. 挂载完Google Drive,会在虚拟机里生成一个drive文件夹,直接将Google Drive当成是一块硬盘即可。访问drive文件夹里的文件,就是在访问你的Google Drive里的文件。在Colab的代码cell中输入以下代码,会返回一个链接,点击链接登陆谷歌账户后,会有一个授权码,复制授权码,输入至表单后,就可在该虚拟机中访问谷歌云端硬盘。

  4. .Colab最多连续使用12小时,超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。(好像再次连接到虚拟机后,虚拟机是被清空的状态,需要重新配置和安装库等等)

  5. colab免费版本目前分配的显卡为tesla T4。
    在这里插入图片描述

  6. colab与linux环境指令类似,仅需要在指令前添加“!”即可。

  7. 导入数据的三种方式:
    直接上传文件
    上传Google Drive并挂载导入
    从github仓库下载导入

  8. 缺点是网络不稳定,每隔一段时间要点进来连接,一旦长时间不重新连接就会停止运行。

  9. 内存不够大,大数据会出问题。

原创文章 68 获赞 134 访问量 5万+

猜你喜欢

转载自blog.csdn.net/liupeng19970119/article/details/104327112