パープレキシティパープレキシティ

自然言語処理では、パープレキシティは、言語モデルの長所と短所を測定するのに使用される方法です。この値は、クロスエントロピー損失関数が得られない累乗の結果です。

クロスエントロピー損失関数

シングルトレーニングサンプルの損失：

$損失= - \ FRAC {1} {N} \ sum_ {I = 1} ^ {n}はY_ {I} \帽子ログ{Y_ {I} = - \帽子ログ{Y_ {J}}$

$n個$中指の言語モデルのラベルの数は、文字の合計数です。 $\帽子{Y_ {I}}$予測確率は、 $Y_ {I}$それは正しい予測の確率です。ラベル番号3場合は、各サンプルは1つのラベルだけで、予測結果は、適切なカテゴリ1です、 $Y_ {1} = 1$、 $Y_ {2} = 0$、 $Y_ {3} = 0$与えるために式 $損失= -log \帽子{Y_ {1}}$。私たちは、クロスエントロピー損失関数のみ正しい予測の確率で懸念されて見ることができます。

当惑

$パープレキシティ= E ^ {損失} = \ FRAC {1} {\帽子{Y_ {I}}}$

• せいぜい、確率ラベルカテゴリが1であることを予想されるモデルは常に、その後の混乱は1です。
• 最悪の場合、モデルは常に確率ラベルカテゴリでは、0に予測され、その後、パープレキシティは正の無限大です。
• ベースラインモデルでは、すべてのカテゴリーに対して常に同じ確率を予測します。 $\帽子{Y_ {I} = \ FRAC {1} {N}$、 $パープレキシティ= N$。このパープレキシティで、カテゴリの数です。
  明らかに、有効なモデルのいずれかの混乱は、カテゴリの数よりも小さくなければなりません。言語モデルでは、混乱は辞書サイズよりも小さくなければなりませんvocab_size。