交叉熵

算法 机器学习 信息论 信息熵
信息论
发布日期:   2018-11-10

熵（英语：entropy）是接收的每条消息中包含的信息的平均量。

熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量

结论：熵越大不确定性越大 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　———摘自《维基百科》

公式

$$H(p,q)=- \sum_{x} p(x) \log q(x)$$


参考

wikipedia-交叉熵 baike-交叉熵

文章作者: Gumihoy
文章链接: https://gumihoy.github.io/2018/11/10/jiao-cha-shang/
版权声明: 本博客所有文章除特別声明外，均采用 CC BY 4.0 许可协议。转载请注明来源 Gumihoy !
算法 机器学习 信息论 信息熵
赏
评论
 上一篇
条件熵 条件熵
熵（英语：entropy）是接收的每条消息中包含的信息的平均量。 熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量 结论：熵越大不确定性越大，熵最小是0 　　　　　　　　　　　　　　　　　　　　
2018-11-10 信息论
算法 机器学习 信息论 信息熵
下一篇 
信息熵 信息熵
熵（英语：entropy）是接收的每条消息中包含的信息的平均量。 熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量 结论：熵越大不确定性越大，熵最小是0 　　　　　　　　　　　　　　　　　　　　
2018-11-10 信息论
算法 机器学习 信息论 信息熵 数学
  目录