数学建模社区-数学中国
标题: 机器学习笔记十：各种熵总结（二） [打印本页]
作者: 重光兰衣 时间: 2018-11-1 10:22
标题: 机器学习笔记十：各种熵总结（二）
机器学习笔记十：各种熵总结（二）二.相对熵相对熵又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度（即KL散度）等。 3 B0 N+ c# _ c6 U
设p(x)和q(x)是取值的两个概率概率分布，则p对q的相对熵为:
0 _$ B! d$ Q: M
在一定程度上面，相对熵可以度量两个随机变量的距离。也常常用相对熵来度量两个随机变量的距离。当两个随机分布相同的时候，他们的相对熵为0，当两个随机分布的差别增大的时候，他们之间的相对熵也会增大。 1 v3 S+ c) J: k! R. F
但是事实上面，他并不是一个真正的距离。因为相对熵是不具有对称性的，即一般来说 
相对熵还有一个性质，就是不为负。
, h0 M% A x# F1 n W9 |
+ b1 m9 u% }( u6 |; t2 \
三.互信息
4 ~5 O! K$ y- w7 T! U4 a互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。
4 b+ ]: n1 I# {1 W, w( f4 `) N两个随机变量X,Y的互信息，定义为X,Y的联合分布和独立分布乘积的相对熵。
$ Y' V `, r A6 K* m$ b. ?
9 Y+ h8 K1 A# \8 y
+ q$ C4 i- C; b那么互信息有什么更加深层次的含义呢？首先计算一个式子先： / i O9 F, m6 Z$ D% ~& s: v" n( {
% v. i1 V+ g" L0 v9 W4 U* b) W: v从这个公式可以知道，X的熵减去X和Y的互信息之后，可以得到在Y给定的情况下X的熵。
四.总结
0 S+ y5 ]& ?% ~# j0 J
2 Q; ^! S. i9 X9 F) V
. q. H+ Z8 e8 w3 {# a2 V. e
4 P) P4 n$ G4 D6 o, t
| 欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) |
Powered by Discuz! X2.5 |