勾配降下法は非常に一般的に使用されるアルゴリズムであり、線形回帰および線形回帰モデルだけでなく、二乗誤差コスト関数でも使用されます。
このセクションでは、勾配降下法とコスト関数を組み合わせます。このアルゴリズムを使用し、直線を近似するための特定の線形回帰アルゴリズムに適用します。
勾配降下アルゴリズムと線形回帰アルゴリズムの比較は次のとおりです。
以前の線形回帰問題で勾配降下法を使用する場合、重要なのはコスト関数の導関数、つまり次の値を見つけることです。
アルゴリズムは
次のように書き換えられます。 先ほど使用したアルゴリズムは、バッチ勾配降下法と呼ばれることもあります。実際、機械学習では通常、アルゴリズムに名前が付けられていませんが、「バッチ勾配降下法」という名前は、勾配降下法の各ステップですべてのトレーニング サンプルを使用するという事実を指します。微分微分項を計算するには、合計演算を実行する必要があるため、個々の勾配降下法で最終的にそのようなことを計算する必要があり、この項はすべてのトレーニング サンプルにわたって合計する必要があります。したがって、バッチ勾配降下法という名前は、トレーニング サンプルのこの「バッチ」すべてを考慮する必要があることを意味しますが、実際には、この「バッチ」タイプではなく、トレーニング セット全体を考慮しない他のタイプの勾配降下法が存在する場合があります。ただし、毎回トレーニング セットの一部の小さなサブセットにのみ焦点を当てます。これらの方法については、後のレッスンでも紹介します。
ただし、今のところは、学習したばかりのアルゴリズムを適用します。