机器学习 -- 信息论

    若信源有 m 种消息，且每个消息是以相等可能产生的，则该信源的信息量可以表示如下：  

         

    但是很多情况，事件出现的概率是不一样的。事件出现的概率越小，信息量越大。此时信息量的计算公式如下：

            Xi 表示一个发生珠事件， P 表示这个事件发生的先验概率。所谓先验概率，就是这个事件按照常理，按照一般性规律发生的概率

   比如中国乒乓球队和巴西乒乓球队交手64次，其中中国获胜63次，则 63/64是赛前普遍认可的中国队获胜的概率，则先验概率。那么：

   中国队获胜的信息量是： 

   巴西获胜的信息量是：