Wandb とは何か、そしてその使い方

Wandb によって生成されたフォルダーには、トレーニングに関連する多くのファイルとデータが含まれています。これらには次のものが含まれます。

wandb-metadata.json: プロジェクト名、実験 ID などの wandb プロジェクトのメタデータを記録します。
wandb-history.json: 損失や精度など、トレーニングプロセスのすべての指標を保存します。
wandb-summary.json: 最良の損失や精度など、トレーニングプロセス中の概要指標を保存します。
wandb-events.jsonl: パラメーターの更新、インジケーターの記録など、実験に関連するすべてのイベントを記録します。
wandb_run_name.txt: この実行の名前を保存します。

これに加えて、トレーニングコードに記述されたすべてのファイルとモデルの重みが含まれます。

Wandb (Weights and Biases の略) は、機械学習プロジェクトを追跡、視覚化し、共同作業するためのツールです。リアルタイムのメトリクス追跡、ハイパーパラメータ調整、モデルの視覚化など、多くの機能を提供します。Wandb は、機械学習エンジニアがより適切に管理、監視し、実験からより多くの洞察と知識を得るのに役立ちます。

Wandb の使用は非常に簡単で、まず、Wandb の Python パッケージをインストールする必要があります (pip または conda を通じてインストールできます)。インストールが完了したら、Python スクリプトに wandb ライブラリをインポートし、Wandb にログインし、プロジェクトを作成して実験を設定する必要があります。実験では、さまざまな指標、ハイパーパラメータ、モデルの重みなどを記録し、分析のために視覚化できます。最後に、実験の結果は Wandb のクラウドに保存され、チームメンバーと共有できます。

Wandb を使用した簡単な例を次に示します。

import wandb

# 登录Wandb并创建一个新的实验
wandb.init(project='my-project', entity='my-team', config={
    'learning_rate': 0.001,
    'batch_size': 32,
    'num_epochs': 10
})

# 记录训练指标
for epoch in range(num_epochs):
    # 训练模型...
    train_loss = ...
    train_accuracy = ...

    # 记录指标
    wandb.log({'train_loss': train_loss, 'train_accuracy': train_accuracy})

# 保存模型
wandb.save('model.pth')

この例では、まずをwandb.init()呼び出して Wandb 実験を初期化し、プロジェクト名とチーム名を設定します。パラメーターを介していくつかのハイパーパラメーターもconfig設定します。次に、トレーニングループでトレーニングの損失と精度を記録し、次の呼び出しによってwandb.log()これらのメトリクスを記録します。最後に、wandb.save()を介してモデルを保存しました。

Wandb の Web サイトでは、実験結果を確認し、視覚的に分析することができます。実験にメモ、フラグ、ディスカッションを追加して、チームメンバーと共同作業することもできます。

Wandb とは何か、そしてその使い方

おすすめ