如果不知道任何球队的信息，每支球队得冠概率相等

信息的度量和作用

1. 克劳德 .艾尔伍德 .香农：信息论创始人，密西根大学学士，麻省理工学院博士。 1948年发表了划时代论文 - 通信的数学原理，奠定了现代信息论的基础。

2. 信息的单位： 比特 （bit)
   

3. 举例： 以32支球队争夺世界杯冠军

• 如果不知道任何球队的信息，每支球队得冠概率相等。
  以二分法预测，最少需要使用5次才能预测到准确结果。 5 = log32 (以2为底）
  5 = -（1/32log1/32 + 1/32log1/32 + ......)

• 开放一些信息，则小于5bit, 如1/6 德国，1/6 巴西， 1/10 中国
  5 > -(1/6log1/4 + 1/6log1/4 + ....)

1. 信息熵：

• “谁是世界杯冠军”的信息量应该比5 bit少， 它的准确信息量应该是：
• H = -(p1logp1 + p2logp2 + p3logp3 +......p32logp32 ) Pi 为第i支球队获胜的概率
• H 的专业术语就是信息熵，单位为比特