I.はじめにロジスティック回帰
1バイナリを解決するための機械学習法、ロジスティック回帰(ロジスティック回帰)が(0または1)の問題は、すなわち、当事者は、分類アルゴリズムです。
•代表的なアプリケーション:
•画像分類
•スパム検出
•財予測の購入
•...
図2に示すように、シグモイド関数
、シグモイド関数とも呼ばれる論理的機能(ロジスティック関数)
直感的な理解
、我々は予測値を得ることができます[0,1]線形回帰への任意の入力マッピング•、その値がこのように確率の値によって変換が完了したシグモイド関数にマッピングされ、それは、分類タスクであります。
対3、ロジスティック回帰、線形回帰
回帰している
(-∞、+∞)•ロジスティック回帰回帰ターゲットがある(0、1)、それはしばしば分類として使用されている目的回帰•は、線形回帰である
私たちは、上の回帰関数収まる• | P(Y = 1をX)
線形回帰---->ロジスティック回帰
4、ロジスティック回帰
バイナリ分類問題のために、私たちすることができます:
我々は、Fになる(X、w)の可能性(確率)と見られ、その後、我々は得ることができます:
図5に示すように、最尤確率
正しい分類確率のすべてがすべてのN個のサンプルのために、
だから、私たちの目標は、J(W)を最大化することです。
6、対数尤度確率は、
次に我々が対数、直接発現を最適化しません
だから、私たちの目標は、L(W)を最大化することです
7、最大log似然求解
We could learn w by maximizing the log likelihood using gradient ascent
二、二分类分类器处理多分类问题
- 一对多(One v.s. other)
- 一对一(One v.s. One)
二分类扩展到多分类
一对多(One v.s. other) • 区分[cat, dog, bird]
• 二值分类器:clf_bin
• 猫的分类器:
• if_cat = clf_bin((X_cat,Y_cat), (X_ncat,Y_ncat))
• 狗的分类器:
• if_dog = clf_bin((X_dog,Y_dog), (X_ndog,Y_ndog))
• 鸟的分类器:
• if_bird = clf_bin((X_bird, Y_bird), (X_nbird, Y_nbird))
1、一对多(One v.s. other)
一对多(One v.s. other)
- 分类,输入样本x
- 使用if_cat, if_dog, if_bird三个分类器进行分类
- 哪个分类器的值大就是哪一类
二分类扩展到多分类
一对一(One v.s. One) • 区分[cat, dog, bird]
• 二值分类器:clf_bin
• 猫/狗的分类器:catdog_clf = clf_bin(..,..)
• 猫/鸟的分类器:catbird_clf = clf_bin(..,...)
• 狗/鸟的分类器:dogbird_clf = clf_bin(..,..)
1、一对一(One v.s. One)
- 分类,输入样本x
- 使用catdog_clf, catbird_clf, dogbird_clf三个分类器进行分类
-
然后进行投票,票数多赢,比如两个分类器都投cat,那么就是cat