随机变量的熵的取值范围

版权声明：转载请注明出处 https://blog.csdn.net/happy_single/article/details/88089491

熵（entropy）是表示随机变量不确定性的度量.设X是一个取有限个值的离散随机变量，其概率分布为 $P(\chi = x_i) = p_i, i = 1, 2, \dots, n$则随机变量X的熵定义为 $H(\chi) = -\sum_{i=1}^n p_i\log{p_i}$当 $p_i=0$时，定义 $0\log{0}=0$通常上式中对数以2为底或者以e为底.
熵只依赖于X的分布，与X的取值无关，X的熵也记作 $H(p)=-\sum_{i=1}^np_i\log{p_i}$有取值范围 $0\leqslant{H(P)\leqslant{\log{n}}}$证明： $\because0\leqslant{p_i\leqslant{1}}且对数的底数大于1,\space\space\space\space\therefore\log{p_i}\leqslant{0},\space\space\space\therefore0\leqslant{H(p)}$ $当均匀分布时，熵值最大，由于均匀分布时，限定越小，不确定性越大，熵取最大值.$ $取p_i={1\over{n}}，H(p)=\log{n}，综上，有0\leqslant{H(P)\leqslant{\log{n}}}\space\space\space\space\square$熵值最大的取值是根据熵的定义得到的.

参考：
《统计学习方法》，李航，p60.