詳述勾配リフト一本の木(GBDT):回帰例

2006年12月にIEEEデータは、マイニングに関する国際会議を開催しました(ICDM、データマイニングに関する国際会議)は、参加する専門家は、データマイニングアルゴリズム(トップアルゴリズムをマイニング10データ)の時点でトップ10を選択し、[1で見つけることができます]。アダブーストは、選択された統合学習(アンサンブル学習)の重要な代表として。しかし、デザイン思考に基づくアルゴリズムを後押し、多くの場合、別のアルゴリズムを比較するために使用されるのAdaBoostとグラデーションブーストです。それは、伝統的な機械学習アルゴリズムは、実際の分布フィッティングであるこれらのアルゴリズムの最高の一つであり、深い学習の数年は、人気のフロントされていない、グラデーションBoostは、データマイニング(データマイニング)や知識のほとんどすべての種類を席巻しました発見(知識発見)コンテスト。

 

また、ブーストグラデーションの木として知られているグラデーション後押しツリーが(GBDT、グラデーションは決定木をブースト)、決定木ベースの学習への復帰は、技術加法モデルを学習の統合の枠組みを後押しすることです。したがって、またGBDTブースティングアルゴリズムが、異なるとのAdaBoostアルゴリズム。アダブーストアルゴリズム重み値がサンプルに重み更新するために、1つの弱学習する前にエラーを使用して、その後の反復ラウンド; GBDTに基づいて勾配ブーストアルゴリズム:ことを除い。主なアイデアは、各モデルは、前勾配降下モデルの損失関数の方向であることです。我々は、すべての機能の喪失はモデルの性能を評価するために用いることができることを知っているが、一般的に、より良い機能の喪失、パフォーマンスと考えられています。そして、モデルが連続勾配方向に沿って下降される損失関数を作成するための最良の方法である、パフォーマンスを向上させるために調整することができるように、損失関数が減少し続けてみましょう。GBDTはこれに基づき、負の勾配に基づいて行うことを学びます。GBDT回帰のために使用することができ、また、予測を行うために使用することができます。回帰問題では、GBDTは、二乗誤差損失関数として採用しました。損失関数の平均二乗誤差がある場合には、残差として見ることができます。分類問題では、GBDTを採用尤度関数の同じ数のロジスティック回帰機能を喪失しました。GBDT直感的な理解が各予測残差と実際の値は、予測残差から次の、そして最終的に全ての予測加算で、結果です。

おすすめ

転載: blog.csdn.net/baimafujinji/article/details/104688631