スイカの本の読書ノート（3）-線形モデル

すべてのメモの概要：「機械学習」スイカの本-メモを読む概要

1.基本形

線形モデルは、属性の線形結合を通じて予測する関数を学習しようとします。通常、ベクトルの形式で表現します$$f（x）=w^{T}x+b$$
なぜなら$w$は、予測における各属性の重要性を直感的に表現するため、線形モデルは優れた解釈可能性を備えています。

2、線形回帰

サンプルは複数の属性で記述される場合があります。現時点では、f（xi）≈yif（x_i）= w ^ Tx_i + bとなるように、f（xi）= w T xi + bを学習しようとしています。$$f（x_{私}）=w^T{x}_{私}+B、ように得ることができるF（{Xを}_{私}）\approx {そして}_{私}$$これは「多重線形回帰」と呼ばれます。

例に対応する出力ラベルが指数スケールで変化すると仮定すると、出力ラベルの対数を線形モデル近似のターゲットとして使用できます。つまり、$$\ln そして=w^{T}x+b$$これは「対数線形回帰」（対数線形回帰）であり、実際にはew T x + be ^ {w ^ Tx + b}を作成しようとしてい$e^{w^{T}x+bは}$yyに近似します$および$。

より一般的には、単調微分可能関数g（⋅）g（\ cdot）を考えることができます。$g（\cdot ）$、令$$そして=g^{-1}（w^{T}x+b）$$このようにして得られたモデルは「一般化線形モデル」と呼ばれ、関数$g（\cdot ）は$「リンク関数」と呼ばれます。明らかに、対数線形回帰は一般化線形モデルであり、$g（\cdot ）=\ln （\cdot ）の$場合の特殊なケース。

3、対数確率回帰

単位ステップ関数は連続ではないため、そのようなg（・）g（\ cdot）を直接見つけることはできません。$g（\cdot ）$。単位ステップ関数をある程度近似できる「代理関数」を見つけ、単調に微分可能であることを期待します。ロジスティック関数（ロジスティック関数）は、一般的に使用される代替関数です$$そして=\frac{1}{1+e^{-と}}=\frac{1}{1+e^{-（w^{T}x+b）}}$$
$$ln\frac{そして}{1-そして}=w^{T}x+b$$

最尤法を使用してwwを推定できます$w$と$b$

第四に、線形判別分析

線形判別分析（線形判別分析、略してLDA）は、古典的な線形学習方法です。これは、データの次元を削減することに似ており、クラス間で大きく、クラス内で小さくなります。

LDAの考え方は非常に単純です：一連のトレーニング例を前提として、類似した例の投影点ができるだけ近くなり、異種の例の投影点ができるだけ遠くなるように、例を直線に投影してみてください新しいサンプルを分類するときは、同じ直線上に投影し、投影点の位置に従って新しいサンプルのカテゴリを決定します。

この記事はここで見ることができます：ホワイトボード派生シリーズノート（4）-線形分類

5つのマルチクラス学習

マルチクラス学習の基本的な考え方は、「逆アセンブル方法」は、マルチ分類タスクをいくつかの二項分類タスクに分割することです。

一般的に使用されているMvMテクノロジである「エラー訂正出力コード」（ECOC）を確認できます。

6、カテゴリーの不均衡

クラス不均衡（クラス不均衡）とは、分類タスクのさまざまなカテゴリのトレーニング例の数が大きく異なる状況を指します。たとえば、998の反例がありますが、肯定的な例は2つしかないため、学習メソッドは常に新しいサンプルを反例として予測する学習者を返すだけでよく、99.8％の精度を達成できます。ただし、このような学習者は多くの場合価値がありません。ポジティブなケースを予測できないからです。

分類器の決定ルールは次のとおりです$\frac{そして}{1-と}>>1つの$予測は良い例です。

トレーニングセットの正と負の例の数が異なる場合、$m^{+}$肯定的な例の数を示します$m^{-}$反例の数を示します。その場合、観測確率は$\frac{m^{+}}{m^{-}}$通常、トレーニングセットは実際のサンプル母集団の不偏サンプリングであると想定しているため、観測確率は真の確率を表します。したがって、分類器の予測確率が観測確率よりも高い限り、それは肯定的な例として判断する必要があります。つまり、$\frac{そして}{1-と}>>\frac{m^{+}}{m^{-}}$予測は前向きな例です。

分類器は決定ルールに基づいて決定を行うため、予測値を調整する必要があります。したがって、$$\frac{{そして}^{"}}{1-{そして}^{\prime }}=\frac{そして}{1-そして}\ast \frac{m^{+}}{m^{-}}$$
したがって、基本的な戦略である「再スケーリング」を実行する必要があります。

1. トレーニングセット内の反例を直接「アンダーサンプリング」します。つまり、それらのいくつかを削除して、正と負の例の数を近づけてから学習します。
2. トレーニングセットのポジティブな例を「オーバーサンプリング」します。つまり、ポジティブな例をいくつか追加して、ポジティブな例とネガティブな例の数を近づけてから学習します。
3. 学習は元のトレーニングセットに直接基づいていますが、トレーニングされた分類器が予測に使用される場合、上記の式は「しきい値移動」と呼ばれる意思決定プロセスに組み込まれます。

「再スケーリング」は「コストに敏感な学習」の基礎でもあります。

次の章ポータル：スイカの本の読書ノート（4）-デシジョンツリー