将那个核心公式与西瓜书的那个例子结合看---效果更佳--更能理解entropy
首先记住entropy的公式(注意随机变量的含义!!!求entropy一定是对随机变量求的)
然后记住条件entropy的公式--首先对随机变量x的取值去展开(出现第一个连加,对Xi)
--之后再写出给定x取值条件下y的条件entropy(出现第二个连加,对Yj)
注意这个时候有两个连加,
x代表某一个属性有n种取值的可能
将那个核心公式与西瓜书的那个例子结合看---效果更佳--更能理解entropy
首先记住entropy的公式(注意随机变量的含义!!!求entropy一定是对随机变量求的)
然后记住条件entropy的公式--首先对随机变量x的取值去展开(出现第一个连加,对Xi)
--之后再写出给定x取值条件下y的条件entropy(出现第二个连加,对Yj)
注意这个时候有两个连加,
x代表某一个属性有n种取值的可能