NFL定理とその意味の学習アルゴリズム

中NFL定理に関する議論を簡素化

定理文:アルゴリズムを学習するかどうか\(\ zeta_a \)と、より「スマート」と\(\ zeta_b \)より「不器用」、彼らの期待は同じエラーです

定理仮説:すべての「問題」に同じ機会が生じ、またはすべての問題が等しく重要です。そして、私たちは一様に分布している真の目的関数fを学ぶことを願っています

定理の証明の簡素化

サンプル空間と仮定1. \(\カイ\) | P(X -は、H 2 SO 4、仮説空間Hを\(\ zeta_a \)アルゴリズムを表す)\(\ zeta_a \) X-仮説hがトレーニングデータの確率は、次いでメイクに基づいて生成真の目的関数を学ぶために私たちの願いのF代わっ。オーダー\(E_ {OTE} \)\(\ zeta_a \)外エラー発生確率の期待トレーニングセットは、(\(E_)\ {OTE}添字はOTEオフ訓練誤差を意味します)

2.注文\(\(。)\ PSI) (。)である場合、特性関数を表す場合ブール値。1、\(\プサイ(。)= 1 \)または\(\プサイ(。)= 0 \)

3.いずれかの時間、所望のエラーに仮説空間H \(E ^ 1 \) = \(\ sum_ {X \で\カイX-} \) P(X)\(\プサイ(H( X-)\ neのF(X-))\) P(\(H | X、\ zeta_a \) )。とき、期待値の一部が必要とされないように、H(x)= f(x)が、そのようなエラーの確率を計数発生した場合、これは、\(H(X)\ NE F(X)\) エラーが発生した場合確率は入金する必要があります。だから、私は特定の本当の目的関数fの面で何を得ることができ、

\(E_ {OTE}(\ zeta_a | P(X X、F)= \ sum_h \ sum_ {\カイXにおけるX \})\プサイ(H(X)\ NE F(X))P(H | X、\ zeta_a)\)

だから、それに応じて、すべての真の目的関数f、以下の結論のために得ることが可能です。

\(\ sum_ {F} E_ {OTE} = \ sum_ {F} \ sum_ {H} \ sum_ {X \で\カイX} P(X)\プサイ(H(X)\ NE F(X ))P(H | X、\ zeta_a)\)

これは、一般的な学習アルゴリズムである\(\ zeta_a \)トレーニングセット外のすべてのサンプルと目的関数fのすべての実の期待のエラー誤り確率

  1. ウォルパートとMacreadyが証明その全ての学習アルゴリズムの\(\ zeta_i \)の仮定を満たす、定理\(\ sum_fE_ {OTE} \ ) の値が等しいです。(だからこの定理は、「何のフリーランチ」理論ではない「ノーフリーランチ定理」として知られています)。定理の厳密な証明について、関連文献への自己参照することができます。

定理バイナリの特別な場合である(つまり、二値の下で命令)

問題は、バイナリ分類であると考えられる場合は、真の目的関数の範囲はYで定義され= {0,1}、すなわち、それをf (\ \ {0,1に\カイ } \) のマッピング関係は、そこに、誤差和に応じてFの均一な分布可能であれば

\(\ sum_f E_ {OTE}(\ zeta_a | P(X X、F)= \ sum_f \ sum_h \ sum_ {\カイXにおけるX \})\プサイ(H(X)\ NE F(X) )P(H | X、\ zeta_a)\)

この式の意味は、それぞれ実際の目的関数f、各仮説時間、トレーニングセットX外部各サンプルがエラーの期待を求めることです。したがって、それはPと、その確率P(X)の面外、各仮説時間xの各トレーニングセット用のサンプルとして見られている(H |、X- )\ zeta_a \(\)の確率すべての真の目的関数fは、エラーの期待を求めます。このようにして得られた下記式に相当します:

\(\ sum_fE_ {OTE}(\ zeta_a | X、F)= \ sum_ {X \で\カイX} P(X)\ sum_hP(H | X、\ zeta_a)\和\プサイ(H(X )\ NE F(X))\)

\(= \ sum_ {X \で\}カイX-P(X)\ sum_hP(H | X、\ zeta_a)\ FRAC 1}。{2} {2 ^ {| \チ|} \)(このステップ基礎を理解することができるはず離散数学)があります

\(= \ FRAC 1} {2} {2 ^ {| \チ|}。\ sum_ {X \で\}カイX-P(X)\ sum_hP(H | X、\ zeta_a)\)(式同等の変形、最初に述べた定数)

\(= 2 ^ {| \チ| -1}。\ sum_ {X \で\}カイX-P(X)1 * \) \(P(H | X、 \ zeta_a)\) 意味この工程を簡略化することができる、\(P(H、X、\ zeta_aは)\)アルゴリズムを指す\(\ zeta_a \)トレーニングセットXに基づいて、確率の生成仮説H、Hの点ですべての前提条件のその後の自然合成公理的定義の導入が含まれており、1です)

推定n型バイナリの特別な場合は、その関係なく、総誤差の学習アルゴリズムを示します。(非バイナリも同様に導出されてもよいです)

概要

NFL定理は、学習アルゴリズム自体の品質を否定するものではありません。すべての「問題」に同じ機会が生じ、または「問題」の全てが等しく重要である:NFL定理アン重要な前提条件です。しかし、現実にはそうではありません。私たちは常に、これは仮説と一致していない解決しようとする私たちの現在の問題について懸念しています。さらに、バイナリの特別な場合には、私たちが一様に分布しているFを想定して、実際の状況はそうではありません。

そのため、学習アルゴリズムを説明するためではないNFL定理の本質は、良いか悪いかではなく、特定の問題から、良い学習アルゴリズム自体が無意味でいるものについて漠然とした話を説明します。彼らの期待が同じエラーであることをので。学習アルゴリズムの優劣を議論するために、それは特定の学習の問題のために必要です。それを無視することはできません機械学習プロセスの裏で。

おすすめ

転載: www.cnblogs.com/my-python-learning/p/11829548.html