エントロピーのシャノンエントロピー概念の主な用途でのID3決定木は混乱の度合いを表し、エントロピーデータは述べ、混乱の度合いも大きくその
エントロピーH =-Σp（XI）のlog（P（XI））を計算するための式は、Pで表される（XI）は、この出来事xiの確率を表します
次のように各機能の選択プロセスは、エントロピーの元のデータセットを得るために、であり、最大で、分類基準として設定されたデータは、元のデータセットをエントロピー後の各機能のために、この機能は、次に（残りエントロピー - 現在のエントロピーデータセット）は、各分割の最大値を見つけます