wandb安装方法及本地部署教程

1 wandb介绍

Wandb(Weights & Biases)是一个用于跟踪、可视化和协作机器学习实验的开源工具和平台。它为机器学习项目提供了一种简单而强大的方式来记录实验参数、跟踪指标、可视化模型和数据,并与团队成员共享结果。

2 wandb安装

2.1 注册wandb账号

在使用wandb库时需要在它的官网注册一个账号,网址是:https://wandb.ai/site

2.2 创建项目并获得密钥

成功注册并登录后在界面的左上角选择Create new project进行新建项目,下面是新建项目页面:

填写好项目名称和描述后便可以得到该项目的密钥API Key:

2.3 安装wandb并登录

按照安装界面上的提示使用pip命令安装wandb包:

pip install wandb

在安装好后跳转到你要使用wandb的程序所在的命令行中,使用下面的命令进行登录并按提示输入API Key 信息:

wandb login

具体的登录方式以及wandb在程序中的相关配置方法可以参考下面这篇博客:深度学习之wandb的基本使用

3 wandb本地部署

wandb最为人称赞的地方在于它能够以多种方式可视化神经网络、实时监督训练过程,并实现多人协同操作。但是实现这些功能的基础是需要联网。在一些实际使用中,我们可能只想在本地训练,在训练完毕后统一可视化查看,这时就要求wandb能够在本地使用,并保存数据以待我们需要的时候进行联网查看
因此,wandb内部集成了一套本地部署方法, 具体使用方法为:

3.1 设置wandb运行模式

为了本地使用wandb,需要将其运行方式设置为本地(即“dryrun”)模式。相应的代码演示:

import wandb
# 初始化wandb
run = wandb.init(mode="dryrun")
# 其他训练代码
...

在这种模式下,wandb 会把所有的日志数据保存在本地磁盘,而不是上传到云端。

3.2 云端查看运行数据

当需要查看网络的运行数据时,重新接入网络并使用 wandb sync 命令便可同步本地运行数据到 wandb 云服务。以下是相应的命令:

wandb sync /path/to/dryrun/directory

请注意,这里的“/path/to/dryrun/directory”表示的是当前本地 dryrun 目录的路径,在具体使用时应该根据当前项目路径进行具体替换。
这样,即使在没有网络连接的情况下,也可以跟踪机器学习实验,并在恢复网络连接后上传实验数据。

4 总结

在一些大型的深度学习项目中,合理的应用wandb能够帮助我们快速分析网络架构和模型组成,便于高效的开展针对性的改进工作。本文仅总结了wandb的安装方法和本地部署方法,如果读者有需要可以去wandb官网的使用文档上学习更多的使用方法:https://docs.wandb.ai/

猜你喜欢

转载自blog.csdn.net/qq_44949041/article/details/132595028