4-1多機能
単変量/特徴回帰モデルについて説明しました。ここでは、部屋数や床数などの住宅価格モデルにさらに多くの特徴を追加して、複数の変数を持つモデルを形成します。モデルの特徴は（x 1、 x 2、 x 3、 x 4 .........）
nは特徴の数を表します
X （i）は Iを表し 行列はi番目であり、目の訓練例を 、列であるベクトル（ベクトル）。
たとえば、上の写真
x （i）j は、特徴行列のi番目の行のj番目の特徴を表し ます 。これは、i 番目のトレーニングインスタンスの j 番目の特徴です。
多変数仮説hは 次のように表されます。
この式にはn + 1個の パラメーターとn個の変数があります
上記のhでx 0 = 1 が導入されている場合、モデルのパラメーターはn + 1 次元のベクトルであり、トレーニングインスタンスもn + 1 次元のベクトルであり、特徴行列の次元はm *（n + 1）。
したがって、式は次のように簡略化できます。
上付き文字は行列転置を表します。
4-2多変量勾配降下法
多変量線形回帰では、コスト関数を作成します。このコスト関数は、すべてのモデリングエラーの二乗の合計です。
多変量線形回帰のバッチ勾配降下アルゴリズムは次のとおりです。
導出後は
一連のパラメーター値をランダムに選択し、すべての予測結果を計算してから、すべてのパラメーターに新しい値を与え、収束するまで続けます。
4-3フィーチャーズーム
多次元の特徴の問題に直面するとき、これらの特徴が同様のスケールを持っていることを確認する必要があります。これは、勾配降下アルゴリズムがより速く収束するのに役立ちます。
最も簡単な方法は作ることである：X N- = X N- -マイクロN- / S N- [μ、n-は 平均値、SであるN- 標準偏差です。
4-4学習率
勾配降下法アルゴリズムの収束に必要な反復回数は、モデルによって異なります。アルゴリズムが収束する傾向を観察するには、反復回数とコスト関数のグラフを作成します。
コスト関数の変化値を特定のしきい値（0.001など）と比較するなど、収束を自動的にテストするいくつかの方法ですが、通常は上記のグラフを確認することをお勧めします。
勾配降下アルゴリズムの各反復は、学習率の影響を受けます。学習率が小さすぎる場合、収束を達成するために必要な反復回数は非常に多くなります。学習率が大きすぎる場合、各反復でコスト関数が減少せず、極小値を超えると、収束に失敗します。
4-5特徴と多項式回帰
線形回帰はすべてのデータに適しているわけではありません。2次モデルや3次モデルなど、データに適合させるために曲線が必要になる場合があります。
3次モデルを線形回帰モデルに変換する
注：多項式回帰モデルを使用する場合、勾配降下アルゴリズムを実行する前に、特徴のスケーリングが必要です。
4-6正規方程式
私たちはすべて勾配降下アルゴリズムを使用していますが、一部の線形回帰問題では、正規方程式法がより良い解決策です。
正規方程式を使用してパラメーターを見つける
4-7正規方程式と不可逆性（オプション）
一部の行列が元に戻せない場合の対処
Octaveを使用している場合は、擬似逆関数pinv（）を使用して実現できます。
異なる線形代数ライブラリを使用するこの方法は、疑似逆行列と呼ばれます。
それで計算された結果は正しいです