交叉熵和散度

文档摘要

交叉熵和散度交叉熵对于分布为p(x)的随机变量，熵H(p)表示其最优编码长度。交叉熵（Cross Entropy）是按照概率分布q的最优编码对真实分布为p的信息进行编码的长度，定义为： $$ \begin{aligned} H(p, q) &=\mathbb{E}{p}[-\log q(x)] \\ &=-\sum{x} p(x) \log q(x) \end{aligned} $$ 在给定p的情况下，如果q和p越接近，交叉熵越小；如果q和p越远，交叉熵就越大。 KL散度 KL 散度（Kullback-Leibler Divergence），也叫KL 距离或相对熵(Relative Entropy)，是用概率分布q来近似p时所造成的信息损失量。