1.信息熵是什么：
类似于质量、密度、重力的概念 ，是一种度量概念，信息熵的单位是bit。
2.信息熵度量什么？
这个概念是怎么引出的，还是列举经典例子，32只球队比赛你猜谁最后赢，有两种小道消息(1.每个队赢的概率是一样的，2.有的队好厉害（赢得概率大），有的不厉害（赢得概率小）). 若根据小道消息1，那么最多猜5次会猜出来了，这个5是怎么算出来的呢，直观的二分法一半一半排除就可以了；若根据小道消息2来判断，那么肯定少于5次就可以猜出来（直观地理解有厉害队和不厉害的队肯定比每个队都差不多水平容易猜)。我们说小道消息1这样的信息蕴含的不确定性大，而小道消息2蕴含的不确定性小。说信息量的不确定性太抽象，到底大多少，小多少呢？-----上升到数学高度构造一个公式才会让一个概念高端美妙。香农把Uncertainty（不确定新）用entropy（信息熵）这个来度量(类似于用肥胖的多少用质量来度量，这样看我觉得不确定性和信息熵就是描述的同一个东西，只是不确定性抽象的，而信息熵是具体的根据公式算出来的一个数值，那么也可以说小道消息1的信息熵大，小道消息2的信息熵小)：信息熵的计算公式：信息熵=sum(p(x)log(p(x)), p(x)是每个球队赢的概率。 这样就可以算出来小道消息1的信息熵是5，而小道消息2的信息熵<5(具体多少根据每个队赢的概率代入公式计算)。香农还说这个信息熵的单位就为bit吧。好的。（bit与二进制相关也有另外的理解，还有其他与信息熵相关的概念，待续）