机器学习之——决策树信息增益比计算[附加计算程序]
cnblogs 2024-09-03 08:13:05 阅读 73
0 前言
1 信息增益比计算公式
2 信息增益比计算
2.1 gR(play,outlook)的计算
根据信息增益(跳转)相关知识,得出:
- <li>
根据分母HA(D)的公式,不难看出其就是某个随机变量D的信息熵。
故有HA(D)等同于H(D),即随机变量D的信息熵,在本例题等同于H(play)。
计算分母:HA(D)=H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
计算gR(play,outlook)。
根据公式gR(play,outlook)=g(play,outlook) / H(play) = 0.2467 / 0.9403=0.2624
特征outlook对数据集D的信息增益g(D,outlook)就等同于g(play,outlook),这里play是最终分类的属性。
先计算分子:g(play,outlook),有如下计算过程:
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
H(play|outlook)=(4.0/14)* 0.0000+(5.0/14)* 0.9710+(5.0/14)* 0.9710=0.6935
g(play,outlook)=H(play)-H(play|outlook)=0.9403-0.6935=0.2467
H(play)的计算方法请参考:信息熵。
H(play|outlook)的计算方法请参考:条件熵。
2.2 gR(play,temperature)的计算
计算分子g(play,temperature)。
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
H(play|temperature)=(4.0/14)* 0.8113+(4.0/14)* 1.0000+(6.0/14)* 0.9183=0.9111
g(play,temperature)=H(play)-H(play|temperature)=0.9403-0.9111=0.0292
计算分母H(play)。
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
计算gR(play,temperature)。
gR(play,temperature)=g(play,temperature) / H(play)=0.0292 / 0.9403=0.0311
3 计算程序
程序
4 结语
如有错误请指正,禁止商用。
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。