kaggle和colab入门

博主的博客园
kaggle和colab都是谷歌的机器学习平台,都提供了gpu和tpu,但都有一定时间限制。对于没有gpu又不想花钱的朋友来说,是一个不错的选择。kaggle不需要科学上网,colab很好用,但是需要科学上网。kaggle和colab对比:
在这里插入图片描述

kaggelg官网:https://www.kaggle.com/
colab官网:https://colab.research.google.com/notebooks/welcome.ipynb

1、kaggle使用方法

kaggel主要用来比赛呢,但是个人可以用来免费使用,每周最少提供30个小时的gpu使用时间。kaggle的使用不用科学上网。

1、注册kaggle账号

注册完,登录界面如下;

在这里插入图片描述
刚入门,我们只要关注其中的compete、data、Notebooks部分。

2、上传数据或代码

kaggle的数据好像不允许在线下载,今天试了一下mnist,发现找不到数据集。所以上传的时候,把代码和数据在本地一起弄好后再上传。如下图,点击主界面的ata, new Dataset进行上传数据和代码。

注:如果文件夹是空,那么上传后,那么这个文件夹不会被上传。
在这里插入图片描述

3、建立notebook

点击刚才上传的数据,建立一个notebook


打开notebook后的界面如下:默认当前路径是/kaggle/working
在这里插入图片描述
记得将加速器切换成gpu或tpu
在这里插入图片描述

切换到代码所在路径,

cd ../input/你的数据名/代码文件夹

在这里插入图片描述
使用%load code.py可以加载代码到notebook,也可以直接用%run code.py执行代码。

%load test.py
或
%run test.py

点击小绿色三角形执行程序。

注:也可以直接用别人的数据集,但是就不上能传代码,需要手动写。
在这里插入图片描述


2、colab使用方法

colab使用谷歌云盘作为存储,需要科学上网,比kaggle高级多了,可以方便的上传、删除、修改数据和代码。

1、上传项目并挂载谷歌云盘

打开谷歌云盘, 将自己的项目上传到谷歌云盘中。如下图:

在这里插入图片描述
打开官网colab,并登录谷歌账号。点击colab的文件/新建笔记本,此时会默认在谷歌云端硬盘建立一个colab-notebooks项目文件夹。

在新建的notebook里面输入下面的命令,进行挂载谷歌云盘到colab服务器上。挂载过程需要登录谷歌账号获取认证码。

from google.colab import drive
drive.mount('/content/gdrive')

在这里插入图片描述
挂载成功后的系统路径是挂载点conten/gdrive。如下图所示

在这里插入图片描述

2、修改运行时目录

我们修改运行目录为我们创建的项目文件夹test,进入找到源程序。

import os
os.chdir("/content/gdrive/My Drive/test/")

在这里插入图片描述
在这里插入图片描述
这时在notebook的左边,可以点开云盘的目录,双击源程序,可以打开并进行修改。
在这里插入图片描述
修改默认使用gpu
在这里插入图片描述

3、运行程序

如果是执行.py文件,可以用下面两个命令,下面以baseline_main.py为例子。

!python baseline_main.py
或
%run baseline_main.py

在这里插入图片描述

4、使用github加载或保存代码

我们可以将notebook保存在github上,或从github读取notebook。
点击文件,在github上创建副本即可保存代码到github上。

在这里插入图片描述
打开文件/打开笔记本,在里面输入github的notebook的地址或按用户查找。
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/stay_zezo/article/details/108298093