バイナリ分類
定義
シグモイド関数
Logistic Function
\ [H_ \シータ（X）= G（\シータ^のTx）\]
\ [Z = \シータ^送信\]
\ [0 <= G（Z）= \ FRAC {1} {1 + E ^ {-z}} <= 1 \]\（H_ \シータ（X）\）の出力が1である確率。
\（H_ \シータ（X）= P（Y = 1 | X; \シータ）\）
\（P（Y = 0 | X; \シータ）+ P（Y = 1 | X; \シータ）= 1 \）
決定境界に0.5組、\（H_ \シータ（X）= 0.5 <==> \シータ^のTx = 0 \）
コスト関数
- \ [J（\シータ）= dfrac {1} {M} \ \ sum_ {i = 1} ^ m個の\ mathrm {コスト}（H_ \シータ（X ^ {（I）}）、Y ^ {（I） }）\]
- \ [\ mathrm {コスト}（H_ \シータ（X）、Y）= - \ログ（H_ \シータ（X））、\テキスト\ {Y = 1であれば}]
- \ [\ mathrm {コスト}（H_ \シータ（X）、Y）= - \ログ（1-H_ \シータ（X））、\テキスト\ {Y = 0の場合}]
- \ [原価（H_ \シータ（X）、Y）= -ylog（H_ \シータ（X）） - （1 - y）のログ（1 - H_ \シータ（X））\]
アルゴリズム
\（\開始{整列*}＆リピート\; \ lbrace \改行＆\; \ theta_j：= \ theta_j - \ FRAC {\アルファ} {M} \ sum_ {i = 1} ^ M（H_ \シータ（X ^ {（I）}） - y ^ {（I）}）^ {X - jが（I）} \改行＆\ rbrace \端）\ {*}整列
- 減少同じ勾配の両方が（H_ \シータ（X）\）\ない同じ定義が
ロジスティック回帰は、機能をスケーリングすることで収束速度を加速するために使用することができます
アルゴリズムは\（\シータ\）の計算に使用でき
- 勾配降下
- 共役勾配
- BFGS共役勾配法（変数メトリック法）
- L-BFGS可変メトリック法の制限
- 3つのアルゴリズムの特性
長所：
a.no手動で\（\アルファ\）を選択する必要が
b.often勾配降下よりも高速
短所：
より複雑なオクターブの最適化アルゴリズム
%exitFlag: 1 收敛
%R(optTheta) >= 2
options = optimset(‘GradObj’, ‘on’, ‘MaxIter’, ‘100’);
initialTheta = zeros(2, 1);
[optTheta, functionVal, exitFlag] ...
= fminumc(@costFunction, initialTheta, options);
%costFunction:
function [jVal, gradient] = costFunction(theta)
jVal = ... %cost function
gradient = zeros(n, 1); %gradient
gradient(1) = ...
...
gradient(n) = ...
マルチクラス分類
1-VS-すべて one-vs-rest
- ロジスティック回帰分類器\を訓練（H_ \シータ^ {（I）}（X）\）各クラス\確率を予測する\（iは\）のために（Y = iは\）。
- 新しい入力\（X \）に、予測を行うために、\を最大クラス\（iは\）（\最大\ limits_ih_の\シータ^ {（I）}（X）を\）選びます。