决策树entropy理解0926

将那个核心公式与西瓜书的那个例子结合看---效果更佳--更能理解entropy

首先记住entropy的公式(注意随机变量的含义!!!求entropy一定是对随机变量求的)

然后记住条件entropy的公式--首先对随机变量x的取值去展开(出现第一个连加,对Xi)

--之后再写出给定x取值条件下y的条件entropy(出现第二个连加,对Yj)

注意这个时候有两个连加,

x代表某一个属性有n种取值的可能

猜你喜欢

转载自blog.csdn.net/kylin_learn/article/details/82860148