（A）の紹介
- 避けられないが、すでに一方で述べ$ KL $発散$（カルバック・ライブラー$ $発散）$の名前を聞いたときに、いくつかの最近の回帰分析クラスは、まだありません完全にランダムフォレストレビューで他の一方で、理解しますさらにゲインに関連する情報の性質を理解し、情報利得と$ KL $の間のリンク発散近いが自明である、情報を統合しようとしているこの知識を学ぶために集まっ
（II）の定義
- エントロピー：$ H（X）= E_X [\ LN \ FRAC {1} {P（X）}] $
- ジョイントエントロピ：$ H（X、Y）= E_ {X、Y} [\ LN FRAC \ {1} {P（X、Y）}] $
- 条件付きエントロピー：$ H（Y \のヴェールX）= E_X $ [E_ {Y \ヴェールのX} [\ LN FRAC {1} {P（Y軸\のヴェールX）}] \]
- 3の関係は次のとおりです。$のH（X、Y）= H（X）+ H（Y \ヴェールX）$
- $ H（X、Y）= - \ IINT P（X、Y）\のLN P（X、Y）のDX、DY \\ = - \ IINT P（X、Y）\ LN P（X）DX dy- \ IINT P（X、Y）\のLN P（Y \のVERT x）からのDX、DY \\ = H（X） - \ INT P（X）\ INT P（Y \のヴェールX）\のLN P（Y軸\ヴェールX）DY DX \\ = H（X）+ H（Y \ヴェールX）$
- 3の関係は次のとおりです。$のH（X、Y）= H（X）+ H（Y \ヴェールX）$
- KLダイバージェンスの$ $：$ \ INT P（X）\ LN \ FRAC {P（X）}、{Q（X）}のDX $
- 情報ゲイン：$ I（X、Y）= H（X）-H（X \ vertのY）= H（Y）-H（Y \ヴェールX）$
- $ I $の情報利得を見つけることは困難ではない対称演算子であります