从熵到 KL 散度
理解 KL 散度
1min read...
我之前并没有很好地理解交叉熵，他的分子分母上是
还是 未能找到好的记忆方式，今天才发现KL散度是从熵和交叉熵这里来的，看过这段数学公式，算是更好地理解了 KL 散度
: 交叉熵，其中 是真实分布， 是预测分布 : 熵 - 交叉熵永远大于熵
省略基本概念
值得记录的是，在信息论的视角中，熵指一个真实的分布本身的最优平均编码长度，熵的值就是他的理论下界
交叉熵则是指，用错误的分布q去编码p，平均需要多少bit
信息论的直觉来看，一套不对的编码信息
即证：
Jensen 不等式：
是凸函数
令随机变量
则期望
又由琴生不等式：
代入得