简述
这个其实很好理解:
就比如自信息是表述每个子弹的威力的话。信息熵就是描述的发射子弹的枪的威力的。
自信息的单位是 bit(比特),或者是其他类似的单位(奈特或者哈特)
信息熵的单位是bit/信源符号。(类似于平均每个子弹的威力 (杀伤力/子弹))
可以看出,信息熵的单位还是基于自信息的~
这个其实很好理解:
就比如自信息是表述每个子弹的威力的话。信息熵就是描述的发射子弹的枪的威力的。
自信息的单位是 bit(比特),或者是其他类似的单位(奈特或者哈特)
信息熵的单位是bit/信源符号。(类似于平均每个子弹的威力 (杀伤力/子弹))
可以看出,信息熵的单位还是基于自信息的~