測定し、情報の役割
- クロード・エルウッドシャノン：情報理論の創始者、ミシガン大学BA、MITの博士号。1948年に公開画期的な論文 - コミュニケーションの数学的理論は、それが現代の情報理論の基礎を築きました。
-
情報の単位：ビット（ビット）
- 例：32チームがワールドカップを競います
-
あなたはチームについての情報がわからない場合は、各チームが等しい確率王冠を持っています。
二分法を予測するには、正確な結果を予測するために、5回の最小値が必要です。5 = log32（ベース2）
5 = - （1 / 32log1 / 32 + 1 / 32log1 / 32 + ......） -
例えばドイツ、1/6、1/6のようないくつかの情報開く、以下5ビットより、ブラジル、中国1/10
5> - （1 / 6log1 / 4 + 1 / 6log1 / 4 + ....）
- エントロピー：
- 「ワールドカップは誰、」小さい5ビット以上である必要があり、情報の量は、それの正確な情報は次のようになります。
- H = - （p1logp1 + p2logp2 + p3logp3 + ...... p32logp32）Piは優勝チームiの確率であります
- H用語はビットでエントロピー