熵是表示随机变量不确定性的度量,变量 X 是一个取有限值的离散属性,其概率分布为
P(X=xi)=pii=1,2,⋅⋅⋅,n
其中 n 为变量取值个数,那么变量 X 的熵定义为
H(X)=−∑i=1npilogpi
熵越小,随机变量 X 的不确定性就越小。 信息增益的定义为:集合 D 的经验熵 H(D) 与特征 A 给定条件下 D 的经验熵 H(D|A) 之差,即
g(D,A)=H(D)−H(D|A)
其中 H(D)=−∑k=1Kpklogpk K 为类别数, pk=|D(y=k)||D|
信息增益比定义为:信息增益 g(D,A) 与训练数据集 D 关于特征 A 的值的熵 HA(D) 之比,即
gr(D,A)=g(D,A)HA(D)
其中
HA(D)=−∑i=1n|Di||D|log2|Di||D|