条件熵

算法 机器学习 信息论 信息熵
信息论
发布日期:   2018-11-10

熵（英语：entropy）是接收的每条消息中包含的信息的平均量。

熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量

结论：熵越大不确定性越大，熵最小是0 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　———摘自《维基百科》

公式

$$ H(X|Y)=- \sum_{i,j} p(x_{i},y_{j}) \log \frac {p(x_{i},y_{j})} {p(y_{j})} $$

范例

应用场景

ID3算法 C4.5算法


参考: wikipedia-条件熵

文章作者: Gumihoy
文章链接: https://gumihoy.github.io/2018/11/10/tiao-jian-shang/
版权声明: 本博客所有文章除特別声明外，均采用 CC BY 4.0 许可协议。转载请注明来源 Gumihoy !
算法 机器学习 信息论 信息熵
赏
评论
 上一篇
ID3算法 ID3算法
2018-11-10 机器学习
算法 机器学习 决策树
下一篇 
交叉熵 交叉熵
熵（英语：entropy）是接收的每条消息中包含的信息的平均量。 熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量 结论：熵越大不确定性越大 　　　　　　　　　　　　　　　　　　　　　　　　　　
2018-11-10 信息论
算法 机器学习 信息论 信息熵
  目录