决策树与分类算法之ID3算法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_36890813/article/details/88981898

一.什么是ID3算法

通过信息增益把决策树的每个结点找到。(公式符号比如下面的西格玛求和符号右上和右下表示范围的字符无法打出来，我在后面用括号表示)
信息增益公式：Entropy(s) = -（∑（上面是m,下面是i=1）pi*log(底为2)（pi）），pi = 某种结果数量/总结果数。

二、怎么把每个节点找到

·········
我以根节点为例子，先把饮食习惯、胎生动物、水生动物、会飞、哺乳动物的信息熵算出来。公式上面已经给了。这里我只用水生动物举例子。

后面的节点得出过程依次类推，直到根据分支能得出结果。