勾配降下方程式の導出 - 再度添加:簡素化誘導体部分


前の1は、導出の根拠です。フィードバックを見てから、話したり全体的に理解しています。しかし、派生物の一部は、まだ疑問がたくさんあります。
実際には、数学では、私はまた、残留物を学びました。だから私の最善を尽くし、希望は理解補完再び話すことができます。虚偽場合は、私に希望を修正します。

ベース式

所望の塩基式で再生、私はをご覧ください理解していない部分詳細図。

関数を想定

$$ Y「=h_θ(X)= \ sum_ {i = 0} ^ $$nθ_ix_i

二乗誤差損失関数を意味

$$ J(θ)= \ frac1 {2メートル} \ sum_ {i = 1} ^ M(h_θ(X ^ {(I)}) - y ^ {(I)})^ 2 $$

勾配降下θ解決

$$θ_j:=θ_j - α\frac∂{∂θ_j} J(θ)$$式α上記の手順の後部分を取り出す:$$ \ \frac∂{整列}開始{∂θ_j} J(θ) &= \frac∂{∂θ_j} \ frac1 {2メートル} \ sum_ {i = 1} ^ M(h_θ(X ^ {(I)}) - y ^ {(I)})^ 2 \\&= \ frac1m \ sum_ {i = 1} ^ M(h_θ(X ^ {(I)}) - y ^ {(I)})^ X - jがiは端{整列を} \ $$

ああ、一般的にはここでの問題で、多くの人々は、上記の結果を簡素化する、ではない簡素化してみてください。

导数公式

上記の単純な式のいくつかの知識が結石誘導体を必要とし、Iは、比較ビューを容易にするために使用されるこの部分を転写しました:

派生物

対物誘導体は次のステップは、勾配降下収束方向(上記損失関数を最小化する、すなわち方向)工程反復αであろうことを保証するために、ポイントに接線方向に得られます。多くは、私はナンセンスではないだろう、このチュートリアルで話しました。

(W実際の数値は、当社の式のθであるインターネット検索からレイジー写真は、侵略を削除します。、J(W)は、私たちがJ(θ)について話しましたものです)


首先公式(\frac∂{∂θ_j})就是求导数的意思,别当做普通的分式,直接分子、分母把∂化简掉成为(\frac1{θ_j})。当然大多数人不会这样做了,我只是见过这样的情况,说出来以防万一。

事实上,你把(\frac∂{∂θ_j})换成常用的函数描述(f(θ_j))可能更贴切。

对函数的和求导法则

为了描述起来方便,我们下面使用'符号来代表求导:

\[ (u + v)' = u' + v' \]
在上面的公式中推广一下,Sigma求和不影响求导的传导,直接把Sigma符号提到前面就好:
\[ (\sum_{i=1}^mu^{(i)})' = \sum_{i=1}^m(u^{(i)})' \]

对函数的积求导法则

$$ (uv)' = u'v+uv' $$

幂函数求导法则

$$ (x^u)' = ux^{(u-1)} $$

对常数求导

这是我最爱的部分:


\[ (C)' = 0 \]

链式法则

这是我最不喜欢的部分:
假设我们希望对变量z求导,而变量z依赖变量y,变量y又依赖变量x。例如:


\[ z = f(y) \\ y = g(x) \]
也即:
\[ z = f(g(x)) \]
那么对z求导就构成了链式法则:
\[ (z)' = (f(g(x)))'·(g(x))' \]
注意最后面乘上内部依赖函数求导的过程,简直是反人类的天外来客,经常会忘。但我等遵循自然界规则的凡人又能如何,死记而已。

推导

基本公式列完,开始推导过程:


\ [\Frac∂{∂θ_j} J (θ)= \frac∂{∂θ_j} \ frac1 {2メートル} \ sum_ {i = 1} ^ M(h_θ(X ^ {(I)}) - y ^ { (I)})^ 2 \
] 上記前記総和関数に従って導出方法:
\ [= \ frac1 2M} {\ sum_ 1} = {I ^ M(\frac∂∂θ_j} {(h_θ(X ^。 {(I)}) - Y
^ {(I)})^ 2)\] 損失関数の中央依存性を考慮し、電力導出するために急いでいない、実際の最初の処理チェーンルールは:
\ [= \ frac1 {2メートル} \ sum_ {i = 1} ^ M(\frac∂{∂θ_j}(h_θ(X ^ {(I)}) - y ^ {(I)})^ 2)・(\frac∂{∂ θ_j}(h_θ(X ^ {
(I)}) - y ^ {(i)は})\] 今拡大する以前部分はパワー導出は、部分的には後者の機能を想定することができる方程式:
\ [= \ frac1 { 2メートル} \ sum_ {i = 1 } ^ M2・(h_θ(X ^ {(I)}) - y ^ {(I)}))・(\frac∂{∂θ_i}(\ sum_ {i = 0} ^nθ_ix_i - y ^ {(I
)}))\] iはi番目の重みを表す関数で使用される拡張仮定は、上記の導出は、また、置換ので(θ_i)、i番目のサンプルのバッチを参照していませんデータ。ここでは、混合シンボリック名を使用するために少し簡単ですが、元が話し始めるつもりはなかったが、コンセプトが明確で、それは何の問題誤解あってはなりません。


続けて2 1/2を持つ式の前半は1/2の目的を掛けたすべての時間分散を行うには続編である、相殺される;シグマ導出後ろsum関数導出法の拡張を継続して使用します:


\[ = \frac1{m}\sum_{i=1}^m(h_θ(x^{(i)}) - y^{(i)}))·(\sum_{i=0}^n\frac∂{∂θ_i}θ_ix_i - \frac∂{∂θ_i}y^{(i)}) \]
前半部分的化简已经完成,简单起见,我们只把后面部分摘出来:
\[ \sum_{i=0}^n\frac∂{∂θ_i}θ_ix_i - \frac∂{∂θ_i}y^{(i)}\\ = \frac∂{∂θ_i}(θ_0x_0+θ_1x_1+...+θ_ix_i+...+θ_nx_n) - \frac∂{∂θ_i}y^{(i)} \]
根据求和函数求导法则展开,等于对其中每一项求导。而我们在对(θ_i)进行求导的时候,其余各项对我们来说,实际上就是一个常数,它们在求导这一刻是固定不能变的。嗯嗯,记得上一篇最后的提醒吗?θ在每个循环内固定不变,在计算完所有的θ之后,才一次代入,并在下个循环内保持不变。



定数の導出は、単に結果が0であるので、それは、私のお気に入りだった、と述べました。我々はまた、(Y ^ {(I)}複数の行をコピー ) :これは、一定の与えられたサンプルセットがあるため、誘導体、ハード良い私は耐えるが、結果は0
\ [= 0 + 0 + .. 。+ \frac∂{∂θ_i}θ_ix_i
+ ... + 0から0 \] 今起動製品導出関数の必要性:
\ [= \frac∂∂θ_i} {+θ_iθ_i··X_I \ {frac∂ ∂θ_i} \] X_I
この世界を乗じた派生後(θ_i)がまだ0であるので、Liが一定であり、常に、バック(X_I)とダブルチーズそう残酷ではない、あなたが参照してください。
導出結果(θ_i)の前には、それが1である、その理由は、あなたがパワーと見られて(θ_i)を置くことができ、非常に簡単です。
\ [\開始{整列}& = \frac∂{∂θ_i}(θ_i)^ 1・X_I + 0 \\&= 1・θ_i^ {(1-1)}・X_I \\&= 1・1・X_I \\&= X_I \\ \エンド
{ALIGN} \] 一瞬、世界はクリーンアップです。元の派生関数の最終結果を想定するが、(θ_i)係数(X_I)。


以前、我々はローカル式の簡素化のうち、2を選ぶ、それが戻ってそれらを我慢する時間です。


\ [\開始{整列}θ_j&=θ_j - α\frac∂{∂θ_j} J(θ)\\&=α\frac∂{∂θ_j} \ frac1 {2メートル} \ sum_ {i = 1} ^ M (h_θ(X ^ {(I)}) - y ^ {(I)})^ 2 \\&=α\ frac1m \ sum_ {I = 1} ^ M(h_θ(X ^ {(I)}) - Y ^ {(I)})^ X - jがiの終了を\ {整列} \]


私はバーを補完書くためにサプリメントを追加する必要はありません。

おすすめ

転載: www.cnblogs.com/andrewwang/p/11075395.html