熵、条件熵、交叉熵、logistic回归

熵的定义

假设一离散型随机变量X的概率分布律函数可用\(p(X)\)来表示，那么变量X的熵(Entropy)可表示为
\begin{equation}
H(X)=-\sum_X p(X)log(p(X))=-E(log(p(X)))
\end{equation}熵描述的是X中可估计的不确定性，因此\(H(X)\)也可以说是\(X\)内的信息量大小

1bit的来历

电脑存储数据时一般会采用的数进制是二进制，即0或1。如果考虑二者等概率的出现，即\(p(X=0)=p(X=1)=\frac{1}{2}\)
那么我们就可以计算一个01符号位所携带的信息量就是：
\begin{equation}
I=-p_1log(p_1)-p_0log(p_0)=-\frac{1}{2}\times log(\frac{1}{2})-\frac{1}{2}\times log(\frac{1}{2})=log_22=1  bit
\end{equation}