信息量，信息熵，信息增益概念的理解和计算
信息量，信息熵，信息增益概念的理解和计算
- 信息量
- 信息熵
- 信息增益
- 条件熵
你好！让我们聊一聊 信息量，信息熵，信息增益的概念和公式，这对以后学习决策树会有很大的帮助。
信息量
某个具体事件发生的产生的信息量往往和他发生的概率成反比，即发生的概率越小，产生的信息量越大。
信息熵
信息熵是随机变量所有取值的均值之和，信息熵是正数，信息熵越小，表示事情的不确定性越小，熵的计算公式如下：
信息增益
信息增益=信息熵-条件熵
信息熵指在一个待分类集合熵值
条件熵指在一个按照某个特征分类后，分别计算每个类别的熵值，按照特征分类比例求出的均值
信息增益代表在某个特征的条件下，事件发生的不确定性减少的程度，那下面我们就介绍条件熵和他的计算公式。
信息增益计算公式：
条件熵
条件熵是在某个特征条件下按照概率某个条件分类之后的分别计算熵，在计算出的均值
`
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！