情報エントロピーとは何ですか

エントロピー物理学の概念であり、それは混乱の状態の定量的指標のシステムを指します。サイズ及びエントロピーカオスシステムの程度があること、関連している、より多くのカオスシステムは、エントロピー大きく、逆に、違いはありません。

エントロピ

情報の特性は、正しいインデックスではありません。情報、大きなエントロピー、より大きな不確実性情報に関連付けられた不確実性。

エントロピーを計算する方法ですか?

情報理論の内容に関連して、それは、情報の符号化の問題です。コーディングの数を合計し、完了したことを示すために、すべての情報?またはバイナリ桁を必要としています。
理論的なシャノンである:
[(1 / P(X))L(X)= log_2 \] \
表現するのに必要なLのバイナリビット、P(x)が発生する確率を表します。
この式によって、それが必要な確率ビンの結果を計算することができます。
バイナリビットの数を知って、その後、平均符号長さ情報がどのくらいされる
[H(X)= \ \ sum_ {X}(P(X)* L(X))\]
最適なコード長です。

リファレンス

  1. チュートリアル情報理論をはじめ
  2. markdown公式表示

おすすめ

転載: www.cnblogs.com/khldragon/p/shang-shi-shen-me-xin-xi-shang-shi-shen-me.html