Der von Wandb generierte Ordner enthält viele Dateien und Daten im Zusammenhang mit dem Training. Diese beinhalten:
- wandb-metadata.json: Zeichnet die Metadaten des Wandb-Projekts auf, z. B. Projektname, Experiment-ID usw.
- wandb-history.json: speichert alle Indikatoren im Trainingsprozess, wie z. B. Verlust, Genauigkeit usw.
- wandb-summary.json: Speichert die zusammenfassenden Indikatoren während des Trainingsprozesses, wie z. B. den besten Verlust und die beste Genauigkeit usw.
- wandb-events.jsonl: Zeichnet alle Ereignisse im Zusammenhang mit dem Experiment auf, z. B. Parameteraktualisierung, Indikatoraufzeichnung usw.
- wandb_run_name.txt: speichert den Namen dieses Laufs.
Darüber hinaus sind alle im Trainingscode geschriebenen Dateien und Modellgewichte enthalten.
Wandb (kurz für Weights and Biases) ist ein Tool zum Verfolgen, Visualisieren und Zusammenarbeiten bei maschinellen Lernprojekten. Es bietet viele Funktionen, darunter Echtzeit-Metrikverfolgung, Hyperparameter-Tuning, Modellvisualisierung usw. Wandb hilft Ingenieuren des maschinellen Lernens dabei, ihre Experimente besser zu verwalten, zu überwachen und mehr Erkenntnisse und Erkenntnisse daraus zu gewinnen.
Die Verwendung von Wandb ist sehr einfach. Zuerst müssen Sie das Python-Paket von Wandb installieren, das über pip oder conda installiert werden kann. Nach Abschluss der Installation müssen Sie die Wandb-Bibliothek in das Python-Skript importieren, sich bei Wandb anmelden, ein Projekt erstellen und das Experiment einrichten. Im Experiment können verschiedene Indikatoren, Hyperparameter, Modellgewichte etc. erfasst und zur Analyse visualisiert werden. Schließlich können die Ergebnisse der Experimente in der Cloud von Wandb gespeichert und mit Teammitgliedern geteilt werden.
Hier ist ein einfaches Beispiel mit Wandb:
import wandb
# 登录Wandb并创建一个新的实验
wandb.init(project='my-project', entity='my-team', config={
'learning_rate': 0.001,
'batch_size': 32,
'num_epochs': 10
})
# 记录训练指标
for epoch in range(num_epochs):
# 训练模型...
train_loss = ...
train_accuracy = ...
# 记录指标
wandb.log({'train_loss': train_loss, 'train_accuracy': train_accuracy})
# 保存模型
wandb.save('model.pth')
In diesem Beispiel initialisieren wir zunächst wandb.init()das Wandb-Experiment, indem wir aufrufen und den Projektnamen und den Teamnamen festlegen. Wir legen auch configeinige Hyperparameter über Parameter fest. Als nächstes zeichnen wir in der Trainingsschleife den Trainingsverlust und die Trainingsgenauigkeit auf und wandb.log()zeichnen diese Metriken dann durch Aufruf auf Schließlich haben wir wandb.save()das Modell über gespeichert.
Auf der Website von Wandb können wir die Ergebnisse des Experiments sehen und eine visuelle Analyse durchführen. Wir können in Experimenten auch Notizen, Markierungen und Diskussionen hinzufügen, um mit Teammitgliedern zusammenzuarbeiten.