記事ディレクトリ

序文
2週目

序文

この記事はスタンフォード大学 CS229 機械学習コースの学習ノートです

この記事の主要部分は黄海光博士からの転載です.リンクは記事の最後にあります. 興味がある場合は、ノートのホームページに直接アクセスして、対応するコース教材と宿題コードをダウンロードできます。

コース公式 Web サイト: CS229: 機械学習 (stanford.edu)

コースビデオ:スタンフォード CS229: 機械学習コース、講義 1 - Andrew Ng (2018 年秋) - YouTube

ノートの概要:ノートの概要 | Stanford CS229 Machine Learning_ReturnTmp のブログ - CSDN ブログ

2週目

4. 複数の変数を使用した線形回帰

4.1 多次元特徴

参考ビデオ: 4 - 1 - 複数の機能 (8 分).mkv

これまで、単変量/特徴量の回帰モデルを検討してきましたが、今度は住宅価格モデルに部屋数や階数などの特徴量を追加して、複数の変数を持つモデルを形成します。 are ( x 1 , $\left( {x_{1}},{x_{2}},...,{x_{n}} \right)$ 。

さらに機能を追加した後、新しいアノテーションのセットを導入します。

$n は$ 特徴の数を表します

${x^{\left( i \right)}}$ 代表第 $i$ トレーニングインスタンスは、特徴マトリックスの行 $i$ はベクトル(vector) です。

たとえば、上記の

${x}^{(2)}\text{=}\begin{bmatrix} 1416\\\ 3\\\ 2\\\ 40 \end{bmatrix}$ ，

${x}_{j}^{\left( i \right)}$ を表します $i$ 列の $j の$ 特徴、つまり $i$ トレーニングインスタンス $j$ の特徴。

上に示すように $x_{2}^{\left( 2 \right)}=3,x_{3}^{\left( 2 \right)}= 2$ 、

多変量仮説をサポートします $h$ を定義します $h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2} }+...+{\theta_{n}}{x_{n}}$ ，

この式では $n + 1 つの$ パラメータと $n$ 個の変数、式を簡素化するために、 $x_{0}=1$ の場合、式は次のように変換されます: $h_{\theta} \left( x \right)={ \theta_ {0}}{x_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n }} {x_{n}}$

このとき、モデル内のパラメータは $n + 1$ 次元ベクトル、トレーニングインスタンスも $n + 1$ 次元ベクトル、特性行列 $X$ です $メートル * (n + 1)$ 。したがって、式は次のように簡略化できます: $h_{\theta} \left( x \right)={\theta^{T}}X$ 上付き文字 $T は$ 行列転置を表します。

4.2 多変量勾配降下法

参考ビデオ: 4 - 2 - 複数の変数の勾配降下法 (5 分).mkv

単変量線形回帰と同様に、多変量線形回帰でも、すべてのモデリング誤差の二乗和であるコスト関数、つまり J ( θ 0 , θ 1 . . . θ n ) = 1 2 m ∑ i を構築します $J\left( {\theta_{0}},{\theta_{1}}...{\theta_{ n}} \right )=\frac{1}{2m}\sum\limits_{i=1}^{m}{ { {\ left ( h_{\theta} \left({x}^{\left( i \right)} \right)-{y}^{\left( i \right)} \right)}^{2}}}$ 、

その中： $h_{\theta}\left( x \right)=\theta^{T}X={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{ 2}}{x_{2}}+...+{\theta_{n}}{x_{n}}$ ，

私たちの目標は、一変量線形回帰問題と同様、コスト関数を最小化するパラメータのセットを見つけることです。
多変量線形回帰のバッチ勾配降下法アルゴリズムは次のとおりです。

たった今：

導関数を取得すると、次のようになります。

n >= 1の場合 $n >= 1$ のとき、
${\theta }_{0}}: = { {\theta }_{0}}-a\frac{1}{m}\sum\limits_{i=1}^{m}{({ {h}_{\theta }}({ { x } ^{(i)}})-{ {y}^{(i)}})}x_{0}^{(i)}$

${\theta }_{1}}:={ { \シータ }_{1}}-a\frac{1}{m}\sum\limits_{i=1}^{m}{({ { h}_{\theta }}({ {x}^{( i)}})-{ {y}^{(i)}})}x_{1}^{(i)}$

${\theta }_{2}}:={ { \シータ }_{2}}-a\frac{1}{m}\sum\limits_{i=1}^{m}{({ {h}_ {\theta }}({ {x}^{( i)}})-{ {y}^{(i)}})}x_{2}^{(i)}$

まず一連のパラメーター値をランダムに選択し、すべての予測を計算し、すべてのパラメーターに新しい値を与えるということを収束するまで繰り返します。

コード例:

計算代价関数数
$J\left( \theta \right)=\frac{1}{2m} \sum\limits_{i=1}^{m}{ { {\left( {h_{\theta}}\left( {x^{(i)}} \right)-{y^{(i)} } \右)}^{2}}}$
その中： ${h_{\theta}}\left( x \right)={\theta^{T}}X={\theta_{0}}{x_{0}}+{\theta_{1}}{ x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}}$

Pythonコード:

def computeCost(X, y, theta):
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

4.3 勾配降下法の実践 1 - 特徴のスケーリング

参考ビデオ: 4 - 3 - 勾配降下法の実践 I - 特徴スケーリング (9 分).mkv

多次元特徴の問題に直面した場合、これらの特徴が同様のスケールを持つことを確認する必要があります。これにより、勾配降下法アルゴリズムがより速く収束するのに役立ちます。

住宅価格の問題を例に挙げます。家の大きさと部屋の数という 2 つの特徴を使用するとします。大きさの値は 0 ～ 2000 平方フィート、部屋の数の値は 0 ～ 5 です。 2 つのパラメーターは水平座標と垂直座標であり、コスト関数の等高線マップを描画すると、画像が非常に平坦に表示され、勾配降下法アルゴリズムが収束するまでに多くの反復が必要であることがわかります。

解決策は、すべての特徴を可能な限り -1 から 1 の間でスケーリングすることです。図に示すように:

最も簡単な方法は、次のように設定することです: ${x}_{n}}=\frac{ { {x}_{n}}-{ { {\mu}_{n}}}{ { { s}_{n}}}$ ，其中 ${\mu_{n}}$ は平均です、 ${s_{n}}$ は標準偏差です。

4.4 勾配降下法演習 2 の学習率

参考ビデオ: 4 - 4 - 勾配降下法の実践 II - 学習速度 (9 分).mkv

勾配降下法アルゴリズムの収束に必要な反復回数はモデルによって異なり、事前に予測することはできませんが、反復回数とコスト関数のグラフを描くことで、アルゴリズムが収束傾向にあることを観察できます。

コスト関数の変化を何らかのしきい値 (0.001 など) と比較するなど、収束をテストする自動方法もありますが、通常は上記のようなグラフを確認する方が良いでしょう。

学習率が $a$ が小さすぎる場合、収束に達するまでに必要な反復回数が非常に多くなります。学習率 $a が$ 大きすぎる場合、各反復でコスト関数が削減されず、極小値を超えて収束しない可能性があります。

通常は、いくつかの学習率を試すことを検討できます。

$\alpha=0.01，0.03，0.1，0.3，1，3，10$

4.5 固有回帰と多項式回帰

参考ビデオ: 4 - 5 - 特徴と多項式回帰 (8 分).mkv

たとえば、住宅価格予測問題、

$h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}\times{間口}+{\theta_{2}}\times{深さ}$

${x_{1}}= 間口$ （間口幅） $\times$ $2$ $＝$ $奥行き{x_{2}$ $}$ $＝$ $奥行き$ $バツ = d e pt h$ （纵向深度）， $バツ = フロントステージ_____* 深さ__= (定義)、つまり$ : ${h_{\theta}}\left( x \right)={\theta_{0}}+{\theta_{1} } とします$ $。$ $h (\times) = 私 + 私 \times$ 。
線形回帰はすべてのデータに適しているわけではありません。場合によっては、二次モデルなどのデータに適合する曲線が必要になります $h_{\theta} \ left( x \right)={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}^2}$
デフォルト値: $h_{\theta}\left( x \right)={\theta_{0}} + {\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}^2}+{\theta_{3}}{x_{3}^3}$

多くの場合、どのモデルを試すかを決定する前に、データを観察する必要があります。さらに、次のものも作成できます。

${ {x}_{2}}=x_{2}^{2}、{ {x}_{3}}=x_{3}^{3}$ したがって、モデルは線形回帰モデルに変換されます。

関数グラフのプロパティに従って、次のものも作成できます。

$h}}_{\theta}}(x)={ {\theta }_{0}}\text{ +}{ {\theta }_{1}}(サイズ)+{ {\theta}_{2}}{ {(サイズ)}^{2}}$

または：

${h}}_{\theta}}(x)={ {\theta }_{0}}\text{+}{ {\theta }_{1}}(サイズ)+{ {\theta }_{2}}\sqrt{size}$

注:多項式回帰モデルを使用する場合は、勾配降下アルゴリズムを実行する前に特徴のスケーリングが必要です。

4.6 正規方程式

参考動画：4～6～正規方程式（16分）.mkv

これまでは勾配降下法アルゴリズムを使用してきましたが、一部の線形回帰問題では正規方程式アプローチの方が優れた解決策となります。好き：

正規方程式は、次の方程式を解くことでコスト関数を最小化するパラメータを見つけることです: $\frac{\partial}{\partial{\theta_{j}}}J\left ( {\theta_{j}} \right)=0$ 。
トレーニングセットの特徴マトリックスが $X$ ( ${ {x}_{0}}=1$ ) トレーニングセットの結果はベクトル $y$ を計算し、正規方程式を使用してベクトル $\theta ={ {\left( {X^T}X \right)}^{-1}}{X^{T} }y$ . $_$
上付き文字T は行列の転置を表し、上付き文字 -1 は行列の逆行列を表します。行列 $A={X^{T}}X$ ，则： $XTX$ ${\left( {X^T}X \right)}^{-1}}={A^{-1}}$
以下は例としてデータを表します。

たった今：

正規方程式法を使用してパラメータを解きます。

Octaveでは、正規方程式は次のように記述されます。

pinv(X'*X)*X'*y

注:不可逆的な行列の場合(通常、フィート単位のサイズとメートル単位のサイズの両方が含まれるなど、特徴が独立していないため、または特徴の数がトレーニングセットの数よりも大きい可能性があるため)、正規方程式は次のようになります。方法は利用できません。

勾配降下法と正規方程式の比較:

勾配降下法	正規方程式
学習率 $\alphaを選択する必要があります$	不要
複数回の反復が必要	1 回の操作で結果が得られる
特徴量 $大きなn$ にも適しています	${\left( {$ ${X}^{T}}X \right)}^{-1}} を$ 計算する必要があります $(X^{TX})_^{- 1}$ 特徴量 n が大きい場合、逆行列の計算時間は $O\left( { {n}^{3}} \right)$ 、一般的に言えば、 $nが$ 10000未満の場合は許容されます
あらゆるタイプのモデルに適しています	線形モデルにのみ適しており、ロジスティック回帰モデルなどの他のモデルには適していません

要約すると、特徴変数の数が大きくない限り、標準方程式はパラメーター $\theta$ を計算するための優れた代替手段となります。具体的には、特徴変数の数が 10,000 未満である限り、通常は勾配降下法の代わりに標準方程式法を使用します。

学習アルゴリズムがますます複雑になるにつれて、たとえば、ロジスティック回帰アルゴリズムなどの分類アルゴリズムについて話すとき、これらのアルゴリズムでは実際には標準方程式法を使用できないことがわかります。より複雑な学習アルゴリズムの場合は、引き続き勾配降下法を使用する必要があります。したがって、勾配降下法は、多数の特徴変数を使用する線形回帰問題に使用できる非常に便利なアルゴリズムです。または、標準方程式法が適していない、または使用できない他のアルゴリズムについては、後のコースで説明します。ただし、この特定の線形回帰モデルでは、標準方程式法が勾配降下法より高速な代替手段となります。したがって、特定の問題と特徴変数の数に応じて、両方のアルゴリズムを学習する価値があります。

正規方程式のPython実装:

import numpy as np
    
 def normalEqn(X, y):
    
   theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X等价于X.T.dot(X)
    
   return theta

4.7 正規方程式と不可逆性 (オプション)

参考ビデオ: 4 - 7 - 正規方程式の非可逆性 (オプション) (6 分).mkv

このビデオでは、正規方程式とその不可逆性について説明します。
これは深い概念であり、私はそれについていつも質問されるので、ここで議論したいと思います。深い概念なので、このオプションの資料をゆっくり読んでください。おそらくあなたはそれについて深く探求されるかもしれません、そしてそれはそうなるでしょう将来理解するのに非常に役立ちます。ただし、正規方程式と線形回帰の関係が理解できていなくても、問題ありません。

私たちが話したい問題は次のとおりです: $\theta ={ {\left( {X^{T}}X \right)}^{-1}}{X^{ T}}y$

備考: このセクションの最後に、導出プロセスを書き留めます。

$\theta$ を計算するときに、何人かの学生が私に尋ねたことがあります。 $θ$ =inv(X'X ) X'y、行列 $バツ^{「} X$ が不可逆だったらどうなるでしょうか?
線形代数を少しでも知っているなら、一部の行列は可逆であり、一部の行列は可逆でないことを知っているかもしれません。これらの非可逆行列を特異行列または縮退行列と呼びます。
質問のポイントは $バツ^{'} X$ の不可逆問題はオクターブ、これを使用して $\theta$ を計算すると正規解が得られます。Octaveでは、行列の逆行列を見つける関数が 2 つあり、1 つはと呼ばれpinv()もう 1inv()つはと呼ばれます。2 つの違いは少し計算プロセスが必要で、1 つはいわゆる擬似逆行列で、もう 1 つはと呼ばれます。その逆。pinv()数学的プロセスは $\theta$ を使用して行列 $であってもθの値$ $バツ^{「} Xは$ 不可逆的です。」

との具体的な違いは何ですかpinv()?inv()

inv()高度な数値計算の概念を紹介します。たとえば、住宅価格を予測する場合、 ${x_{1}}の場合、$ フィート単位の家 ${x_{2}}$ は平方メートルで計算される家です。同時に、1 メートルが 3.28 フィートに等しいこともわかります (小数点第 2 位に四捨五入)。このようにして、2 つの固有値は常に制約を満たします: x 1 = x 2 ∗ ${x_{1}}={x_{2}}*{ { \left( 3.28 \right)}^{2}}$ ．
のような線形方程式で示すことができます。 $バツ^{「} X は$ 元に戻せなくなります。」

2 番目の理由は、多数の固有値を使用して学習アルゴリズムを実践しようとすると、行列 $バツ^{'} X$ 元に戻せません。
具体的には $たとえば、 m$ が n 以下の場合 $m$ が10 に等しい $n は$ 100 で特徴の数に相当します。近似を見つけるには $(n + 1)$ 次元パラメータベクトル $\theta$ は 101 次元のベクトルになるため、10 個のトレーニング例から 101 個のパラメータを満たす値を見つけようとすると、時間がかかるかもしれませんが、それが常に良い考えであるとは限りません。なぜなら、これまで見てきたように、これら 100 または 101 のパラメーターに適合するサンプルは 10 個しかないため、データはまだかなり小さいからです。

線形代数手法を使用します。よりも $m$ $Nさん$ が若い頃の問題。トレーニングセットが比較的小さい場合でも、多くの機能を使用して多くの適切なパラメーターを見つけることができます。
つまり、行列 $バツ^{'} X$ が特異であるか、見つかった他の行列が可逆でない場合は、そうすることをお勧めします。

まず、固有値に冗長な特徴があるかどうかを確認します ( ${x_{1}}など)。$ そして ${x_{2}}$ は線形関係にあり、相互に一次関数です。同時に、いくつかの冗長なフィーチャがある場合、繰り返される 2 つのフィーチャのうちの 1 つを削除でき、2 つのフィーチャを同時に保持する必要がなく、不可逆性の問題が解決されます。したがって、まずすべての機能を観察して、冗長な機能があるかどうかを確認する必要があります。冗長な機能がある場合は、冗長でなくなるまで削除します。機能が多すぎる場合は、削除して使用する機能を減らします。できるだけ多くのコンテンツを、それ以外の場合は正則化の方法を検討します。
行列 $バツ^{'} X$ は不可逆ですが (通常、これは起こりません)、Octave、擬似逆関数で実現できますpinv()。さまざまな線形代数ライブラリを使用するこのアプローチは、擬似逆関数と呼ばれます。たとえ $バツ^{'} X$ は元に戻せませんが、アルゴリズムの実行プロセスは正しいです。つまり、不可逆行列の発生はめったに発生しないため、線形回帰のほとんどの実装では、不可逆問題は ${X^{T}}X$ 元に戻すことができません。

コンテンツを追加します:

$\theta ={ {\left( {X^{T}}X \right)}^{-1}}{X^{T}}y$ :

$J\left( \theta \right)=\frac{1}{2m}\sum\限界_{i=1}^{m}{ { {\left( {h_{\theta}}\left( {x^{(i)}} \right)-{y^{(i)}} \right )}^{2}}}$
その中： ${h_{\theta}}\left( x \right)={\theta^{T}}X={\theta_{0}}{x_{0}}+{\theta_{1}}{ x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}}$

ベクトル表現形式を行列表現形式に変換すると、 $J(\theta )=\frac{1}{2}{ { \left( X\theta - y \right)}^{2}}$ 、ここで $Xは$ です $m$ 行 $n$ 列の行列 ( $m$ はサンプル数、 $n$ は特徴の数です)、 $\theta$ です $n$ 行 1 列 $y$ です $J(\theta )$ $のm$ 行 1 列 $J (θ)$ は次のように変換されます

$J(\theta )=\frac{1}{2}{ {\ left( X\theta -y\right)}^{ T}}\left( X\theta -y \right)$

= $=\frac{1}{2}\left( { {\theta }^{T}}{ {X}^{T}}-{ {y}^{T}} \right)\left(X\theta -y \right)$

= $=\frac{1}{2}\left( { { \theta }^{T}}{ {X}^{T }}X\シータ -{ {\シータ}^{T}}{ {X}^{T}}y-{ {y}^{T}}X\シータ -{ {y}^{T}}y \右）$

次は $J(\theta )です$ 偏導関数には、次の行列の導出規則が必要です。

$\frac{dAB}{dB}={ {A}^{T}}$

$\frac{d{ {X}^{T}}AX}{dX}=2AX$

フ：

$\frac{\partial J\left( \theta \right)}{\partial \theta }=\frac {1}{2}\left(2{ {X}^{T}}X\シータ -{ {X}^{T}}y -{}({ {y}^{T}}X )^{ T}-0 \右)$

$=\frac{1}{2}\left(2{ { X}^{T}}X\theta -{ {X}^{T} }y -{ {X}^{T}}y -0 \right)$

= ${X}^{T}}X\theta -{ {X}^{T}}y$

令 $\frac{\partial J\left( \theta \right)}{\partial \theta }=0$ 、

则有 $\theta ={ {\left( {X^{T}}X \right)}^{-1}}{X^{T}}y$

5. オクターブチュートリアル

Octave は使用されなくなりました。最新の Python コースコードはここから入手できます。

第 2 週 | スタンフォード CS229 機械学習