相对熵与互信息

考虑一个未知的分布p（x），如果我们已经用一个近似的分布q(x)对其进行建模，如果我们使用q(x)来建立一个编码系统，用来把x值传给接受者，由于我们使用的是q(x)而不是p(x), 在具体化x的值时，需要添加一些额外的信息。需要添加的额外信息的平均值，称为p(x)和q(x)分布的相对熵，也称为KL散度。KL散度不是对称的。