このシリーズの李ハング、「統計的学習法、」、次のディレクトリを終えての研究ノート：
はじめに（a）は、統計的学習法
（B）パーセプトロン
（C）Kネイバー
（D）ナイーブベイズ
（E）決定木
（F）最大エントロピーとロジスティック回帰モデル
（VII）、サポートベクターマシン
（H）アップグレード方法
（IX）EMアルゴリズムとそのプロモーション
（X）隠れマルコフモデル
（西）条件付き確率場
統計的学習方法の第一章の概要
統計データ対象はデータに関する基本的な仮定は、特定の統計的規則性と同じデータで学習されます。
・特徴：
IIDデータ、仮説空間（学習範囲）に属するモデルで、与えられた評価基準で最適な予測、最良のモデルは、アルゴリズムによって実装される選択
1.2教師あり学習
限られた学習データの出発を考えると、独立した同一分布データを想定して、仮説空間から最適なモデルを選択すると、アプリケーションが評価基準となっている、モデルは仮説空間に属していると仮定して、それがテストにトレーニングデータと未知データにされています評価基準の下で最も正確な予測。
*教師付き学習：分類、表示（シリーズ予測）と回帰
・コンセプト
入力空間、出力空間と特徴空間
同時確率分布
仮説スペース
1.3三つの要素
。モデル
条件付き確率モデルは、分布（非確率モデル）または決定関数（確率モデル）を学ぶことです
B。ポリシー
統計的学習の目標は、仮説空間から最適なモデルを選択することです。
予測の所望の程度を測定するための損失関数は、機能の喪失は、間違っています
希望学習目標を選択し、最小限のリスクモデルです。
・学習ストラテジー（目的関数を最適化するように選択）：
1）ERM
最尤推定値
過剰適合経験的リスクに対するモデルの2）構造的リスク最小化（正則化項が追加される複雑さ、）を防止
最大事後ベイズ推定しMAP
Cアルゴリズム - 最適化問題を解決するために
1.4モデルの評価と選択
トレーニングエラーとテストエラー
過剰適合
1.5正則とクロスバリデーション（モデル選択法）
大きく複雑なモデル事前確率を有する、観点から、ベイズ推定項目正則化に対応する事前確率モデルを、正則化はオッカムのカミソリを満たします。
クロスバリデーション：シンプル、Sおよび倍クロスバリデーションを残します。
1.6一般化
学んだモデルがFである場合には、予測誤差が未知のデータの汎化誤差（期待リスク）です。
バイナリ分類問題のために、小さな誤差モデルのトレーニング、汎化誤差が小さくなるのでしょうか？
1.7生成モデルと判別モデル
P（Y | X）の予測モデルとして= P（X、Y）/ P |同時確率分布P（X、Y）、次に条件付き確率分布が得られるP（X、Y）からの学習方法（生成的アプローチ）データを生成します（X）
出力Yとの関係を生成するためにX所与の入力モデル。一般的にナイーブベイズ隠れマルコフがあります
識別方法は、意思決定機能または条件付確率分布から直接学習データ（アプローチを区別します）。典型的には、k近傍、機械知覚、決定木、最大エントロピー、SVMなどがあります