x.1 ロジスティック回帰
細胞が悪性腫瘍細胞かどうかを区別するなどの同様の分類問題では、線形回帰モデルを使用するのは適切ではないため、次のようにロジスティック回帰モデルを導入して決定境界を描きます。
分類の最後の層、活性化関数としてシグモイドを使用g ( z ) = 1 1 + e − zg(z)=\frac{1}{1+e^{-z}}g ( z )=1 + e−z _1、最終出力は [0, 1] となり、確率分布によく適合します。
x.2 決定境界
決定境界を使用してデータセットのカテゴリーを分類します。次のように、z を使用して決定境界を構築します。
分類のための x.3 コスト関数
分類問題の場合、MSE 平均二乗誤差は適切な戦略/損失関数ではありません。腫瘍分類を例として、最初に次のようにデータセットを構築します。
戦略/コスト関数/J(w) として MSE を使用し続ける場合、得られる曲線はJ(w)-w右下隅のような非凸関数になります。多くの局所的な最適解 (つまり、複数の極値) が存在するためです。 、これは収束には適していません、
J(w)-w再び凸関数にするためにロジスティック損失関数を導入します y=1 のとき y_hat は [0, 1] に属し、1 から離れるほど損失が大きくなり、y=0 のとき y_hat は遠ざかるほど損失が大きくなりますが 0 から大きいほど、損失は大きくなります。
なぜ凸関数なのかの証明についてはJ(w)-w、このコースの範囲外なので証明しません。しかし、それはコースウェアに含まれており、非常に重要です。
ただし、上記の損失は区分関数であり、上記の損失を計算するには 2 つの式を組み合わせる必要があります。1 つの式の損失を使用することを好むため、簡略化された表現を使用して 2 つの式を 1 つの式に結合します。
もちろん、なぜそのような損失関数が使用されるのかを知りたいかもしれません。実際、どのような種類のモデルが使用され、MLE 最尤推定を使用してどのようなコスト関数が推定されるのか。その背後にある数学的原理は非常に奥深いものです。どのように推定されたかは知っていますが、なぜそのように推定されたのかはわかりません。ここでの損失を覚えていればよいだけです。
x.4 分類に勾配降下法を適用する
戦略関数コスト func を取得した後、次のように分類モデルに勾配降下法を適用できます。
分類の勾配降下法のパラメーターの更新方法は線形回帰の方法と同じですが、使用するモデルが完全に異なることも認識する必要があり、同時にベクトル化加速計算、特徴スケーリングもあります。知識が収束しやすくなるなど、
