信息论学习模型---相对熵

在所定义的互信息$I(X;Y)$，作用于随机神经系统，其输入输出相应地记为多维向量$X$和$Y$。现有两个不同的概率密度函数$p_x(x)$和$g_x(x)作为输入向量X的潜在的可能说明