ブロガーが4月にスイカの本を学び終えたとき、彼は途方に暮れ、まだ少し理解していると感じました。9月に学校が始まってから、強制的な「機械学習」コースを修了し、さまざまな機械学習アルゴリズムと紙の複製をプログラムして実装した後、機械学習について少し理解しました。今度はスイカの本をもう一度読みました。そして私は多くの知識ポイントを見ました。突然光を見る。したがって、この一連の記事は、機械学習をレビュー、要約、記録するために公開されています。誰もが機械学習の謎を解き明かそう！
1.基本形
中学校で直線方程式を勉強したとき、直線方程式の斜め切片の式を知っていました：y = kx + b、ここでkは傾き、bは切片です。これは分析幾何学で最も一般的に使用される式でもあります。実際、この章はすべて直線の表現について話している。
線形モデルは、プロパティの線形結合から予測を行う関数を学習しようとします。
ここで、w =（w1、w2、... wn）はよく知られている重み係数であり、bはバイアス値です。
たとえば、スイカのデータセットでは、学習者が学習したモデルは次のとおりです。
つまり、色、根、ノックの音を使用して、メロンが良いかどうかを判断します。根が最も重要で、音が最も重要です。色よりも重要です。
2.線形回帰
对于离散属性，若属性间存在序关系，可以通过连续化将其转化为连续值：
- たとえば、バイナリ属性「height」の値「high」と「short」は、{1.0、0.0}に変換できます。
- たとえば、3つの値の属性「height」の「high」、「medium」、「low」の値は、{1.0、0.5、0.0}に変換できます。
若属性间不存在序关系，假定有k个属性值，则通常转化为k维向量
属性「メロン」の値「スイカ」、「カボチャ」、「冬瓜」は、（1,0,0）、（0,1,0）、（0,0,1）に変換できます。
wとbの決定には、通常、最も一般的に使用されるユークリッド距離に基づく平均二乗誤差法を使用します。
つまり、属性ごとに、予測値と実際の値の2乗を計算し、最後に合計して、この値を最小化するwとbを見つけます。
線形回帰では、最小二乗法は、すべてのサンプルと直線の間のユークリッド距離を最小化する直線を見つけようとすることです。つまり、これらのサンプルポイントを適合させようとします。
3.ログオッズ回帰
単位ステップ関数を見てみましょう。予測値zが0より大きいので正の例と判断され、0より小さい場合は負の例と判断され、判断できることがわかります。 0に等しい場合は任意に。明らかに、単位ステップ関数は不連続であるため、逆関数はありません。
対数確率関数（ロジスティック関数）を見てみましょう。
2つの画像を見てみましょう。対数オッズ関数は、z値を0または1に近いy値に変換する「シグモイド」関数であることがわかります。
この本は「対数オッズ回帰」と訳されていますが、「ロジスティック回帰」と呼ばれていますが、名前には回帰がありますが、「線形回帰」とは異なり、分類学習法です。そのwとbを「最尤推定」で推定します。その値は、共役勾配法、ニュートン法、減衰ニュートン法、FR法などの古典的な数値最適化アルゴリズムによって取得されます。
4.線形判別分析
現象判別分析（略してLDA）は、古典的な線形学習法です。その考え方は非常に単純です。一連のトレーニング例を前提として、例を直線に投影して、類似した例の投影点ができるだけ近くなり、さまざまな種類の例の投影点ができるだけ遠くなるようにします。できるだけ。
5.マルチクラス学習
私たちは通常、分類学習者を「分類器」と呼びます。人生の問題は、二項分類の問題だけでなく、多くの複数分類の学習タスクにも遭遇します。一部の二項分類は、直接複数分類に拡張できます。多くの場合、複数分類タスクをいくつかの二項分類タスクに分解します。
最も古典的な分割戦略は3つあります。
- One vs One（略してOvO）
- 1対多（One vs Rest、略してOvR）
- 多く対多く（略してMvM）
多分类问题可以看后面具体的学习方法，比如：决策树、朴素贝叶斯、支持向量机、K-NN等。
6.クラスの不均衡の問題
クラスの不均衡とは、分類タスクにおける異なるクラスのトレーニング例の数が非常に異なる状況を指します。
現在、この問題に対処するための3つの基本的な戦略があります。
- トレーニングセットのネガティブな例を直接「アンダーサンプリング」します。つまり、いくつかのネガティブな例を削除して、ポジティブな例とネガティブな例の数を類似させてから、学習します。
- トレーニングセットのポジティブな例を「オーバーサンプリング」します。つまり、ポジティブな例をいくつか追加して、ポジティブな例とネガティブな例の数を近づけてから、学習します。
- 元のトレーニングセットから直接学習しますが、「しきい値シフト」と呼ばれる、予測を行う際の意思決定プロセスに「再スケーリング」の式を埋め込みます。