サマリーメトリクスのログ投稿内

トレーニング中に時間の経過とともに変化する値に加えて、モデルや前処理ステップを要約する単一の値を追跡することが重要な場合がよくあります。この情報は、W&B Run の summary 辞書に ログ を記録します。Run の summary 辞書は、numpy 配列、PyTorch テンソル、または TensorFlow テンソルを扱うことができます。値がこれらの型のいずれかである場合、テンソル全体をバイナリファイルとして保存し、最小値、平均値、分散、パーセンタイルなどの上位レベルの メトリクス を summary オブジェクトに保存します。

wandb.Run.log() で最後に ログ 記録された値は、自動的に W&B Run の summary 辞書として設定されます。summary メトリクス の辞書が変更されると、前の値は失われます。

次の コードスニペット は、カスタムの summary メトリクス を W&B に提供する方法を示しています。

import wandb
import argparse

with wandb.init(config=args) as run:
  best_accuracy = 0
  for epoch in range(1, args.epochs + 1):
      test_loss, test_accuracy = test()
      if test_accuracy > best_accuracy:
          # summaryを更新して最高精度を記録
          run.summary["best_accuracy"] = test_accuracy
          best_accuracy = test_accuracy

トレーニング終了後に、既存の W&B Run の summary 属性を更新することもできます。W&B Public API を使用して summary 属性を更新します。

api = wandb.Api()
run = api.run("username/project/run_id")
run.summary["tensor"] = np.random.random(1000)
run.summary.update()

​

summary メトリクスのカスタマイズ

カスタム summary メトリクス は、run.summary 内でトレーニングの最適なステップにおける モデル のパフォーマンスを取得するのに役立ちます。例えば、最終的な値ではなく、最大精度や最小損失値をキャプチャしたい場合があります。

デフォルトでは、summary は history からの最終値を使用します。summary メトリクス をカスタマイズするには、define_metric で summary 引数 を渡します。以下の値を受け入れます。

• "min"
• "max"
• "mean"
• "best"
• "last"
• "none"

"best" を使用できるのは、オプションの objective 引数 を "minimize" または "maximize" に設定した場合のみです。

次の例では、損失と精度の最小値と最大値を summary に追加しています。

import wandb
import random

random.seed(1)

with wandb.init() as run:
    # 損失の最小値と最大値をsummaryに設定
    run.define_metric("loss", summary="min")
    run.define_metric("loss", summary="max")

    # 精度の最小値と最大値をsummaryに設定
    run.define_metric("acc", summary="min")
    run.define_metric("acc", summary="max")

    for i in range(10):
        log_dict = {
            "loss": random.uniform(0, 1 / (i + 1)),
            "acc": random.uniform(1 / (i + 1), 1),
        }
        run.log(log_dict)

​

summary メトリクスの表示

summary の値は、Run の Overview ページまたは プロジェクト の Runs テーブルで確認できます。

Run Overview

1. W&B App に移動します。
2. Workspace タブを選択します。
3. Runs のリストから、summary の値を ログ 記録した Run の名前をクリックします。
4. Overview タブを選択します。
5. Summary セクションで summary の値を確認します。

Run Table

1. W&B App に移動します。
2. Runs タブを選択します。
3. Runs テーブル内で、summary 値の名前に基づいた列で summary の値を確認できます。

W&B Public API

W&B Public API を使用して、Run の summary 値を取得できます。

次のコード例は、W&B Public API と pandas を使用して、特定の Run に ログ 記録された summary 値を取得する方法の 1 つを示しています。

import wandb
import pandas

entity = "<your-entity>"
project = "<your-project>"
run_name = "<your-run-name>" # summary値を持つRunの名前

all_runs = []

for run in api.runs(f"{entity}/{project_name}"):
    print("Fetching details for run: ", run.id, run.name)
    run_data = {
              "id": run.id,
              "name": run.name,
              "url": run.url,
              "state": run.state,
              "tags": run.tags,
              "config": run.config,
              "created_at": run.created_at,
              "system_metrics": run.system_metrics,
              "summary": run.summary,
              "project": run.project,
              "entity": run.entity,
              "user": run.user,
              "path": run.path,
              "notes": run.notes,
              "read_only": run.read_only,
              "history_keys": run.history_keys,
              "metadata": run.metadata,
          }
    all_runs.append(run_data)
  
# DataFrameに変換
df = pd.DataFrame(all_runs)

# 列名（run）に基づいて行を取得し、辞書に変換
df[df['name']==run_name].summary.reset_index(drop=True).to_dict()