两个多维高斯分布的KL散度公式推导

2023-10-04 02:38:18

两个多维高斯分布的KL散度公式推导是变分自编码器中损失函数的一部分，目标是将KL散度表示成两个高斯分布的均值和方差。

一维正态分布的均值与方差公式推导

一维正态分布的概率密度函数为：

$\displaystyle f(x) = \frac{1}{\sqrt{2\pi}\sigma}exp{(-\frac{(x-\mu)^2}{2\sigma^2})}$

一维正态分布的均值为：

$\begin{aligned} E(x)&=\int_{-\infty}^{+\infty}xf(x)dx\\ &= \int_{-\infty}^{+\infty}x\frac{1}{\sqrt{2\pi}\sigma}exp{(-\frac{(x-\mu)^2}{2\sigma^2})}dx\\ &= \int_{-\infty}^{+\infty}(x-\mu)\frac{1}{\sqrt{2\pi}\sigma}exp{(-\frac{(x-\mu)^2}{2\sigma^2})}dx+\mu\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma}exp{(-\frac{(x-\mu)^2}{2\sigma^2})}dx\\ &\overset{t=(x-\mu)}{=}\int_{-\infty}^{+\infty}t\frac{1}{\sqrt{2\pi}\sigma}exp{(-\frac{t^2}{2\sigma^2})}dt+\mu\int_{-\infty}^{+\infty}f(x)dx\\ &=\mu \end{aligned}$

一维正态分布的方差为：

$\begin{aligned} D(x)&=E[(x-\mu)^2]\\ &=\int_{-\infty}^{+\infty}(x-\mu)^2 \frac{1}{\sqrt{2\pi}\sigma}exp{(-\frac{(x-\mu)^2}{2\sigma^2})}dx\\ &\overset{t=(x-\mu)}{=}\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{+\infty}t^2exp{(-\frac{t^2}{2\sigma^2})}dt \end{aligned}$

因为

$\displaystyle \begin{aligned} \int_{-\infty}^{+\infty}f(x)dx& =\frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{+\infty}exp{(-\frac{(x-\mu)^2}{2\sigma^2})}dx\\& \overset{t=(x-\mu)}{=}\frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{+\infty}exp{(-\frac{t^2}{2\sigma^2})}dt \\&=\frac{1}{\sqrt{2\pi}\sigma}(t\times exp{(-\frac{t^2}{2\sigma^2})}|_{-\infty}^{+\infty}- \int_{-\infty}^{+\infty}tdexp{(-\frac{t^2}{2\sigma^2})})\\ &= \int_{-\infty}^{+\infty}t^2\frac{1}{\sqrt{2\pi}\sigma^3}exp{(-\frac{t^2}{2\sigma^2})}dt\\ &=1 \end{aligned}$

故

$D(x)=\sigma ^2$

两个多维高斯分布的KL散度

$\begin{aligned} D_{KL}(q(z)||p(z)) &= \int_{z}q(z)\log{\frac{q(z)}{p(z)}}dz\\ &=\int_{z}q(z)\log{q(z)}-q(z)\log{p(z)}dz\\ &=\int_{z}q(z)\log{q(z)}dz-\int_{z}q(z)\log{p(z)}dz \end{aligned}$

假定隐变量 $z$ 是高维变量，维数为M。两个多元高斯分布各变量相互独立， $q(z)\sim N(z;\mu_1,\Sigma_1)$ ， $p(z)\sim N(z;\mu_2,\Sigma_2)$ 。

先计算KL散度中的第一项，

$\begin{aligned} \int_{z}q(z)\log{q(z)}dz &= \int_{z}N(z;\mu_1,\Sigma_1)\log{N(z;\mu_1,\Sigma_1)}dz\\ &=\sum_{m=1}^{M}E_{q(z_m)}\log { (\frac{1}{\sqrt{2\pi\sigma_{1,m}^2}}exp{(-\frac{(z_m-\mu_{1,m})^2}{2\sigma_{1,m}^2})})}\\ &=\sum_{m=1}^{M}E_{q(z_m)}(-\frac{1}{2}\log2\pi\sigma_{1,m}^2-\frac{(z_m-\mu_{1,m})^2}{2\sigma_{1,m}^2})\\ &=\sum_{m=1}^M[(-\frac{1}{2}\log2\pi\sigma_{1,m}^2)-E_{q(z_m)}\frac{(z_m-\mu_{1,m})^2}{2\sigma_{1,m}^2}]\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{1,m}^2}-\frac{1}{2}\sum_{m=1}^ME_{q(z_m)}\frac{(z_m-\mu_{1,m})^2}{\sigma_{1,m}^2}\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{1,m}^2}-\frac{1}{2}\sum_{m=1}^M\frac{1}{\sigma_{1,m}^2}E_{q(z_m)}(z_m-\mu_{1,m})^2\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{1,m}^2}-\frac{1}{2}\sum_{m=1}^M\frac{1}{\sigma_{1,m}^2}\sigma_{1,m}^2\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M(\log{\sigma_{1,m}^2+1)} \end{aligned}$

接着计算KL散度的第二项

$\begin{aligned} \int _{z}q(z)\log{p(z)}dz &= \int _{z} N(z;\mu_1,\Sigma_1)\log{N(z;\mu_2,\Sigma_2)}dz\\ &=\sum_{m=1}^{M}E_{q(z_m)}\log { (\frac{1}{\sqrt{2\pi\sigma_{2,m}^2}}exp{(-\frac{(z_m-\mu_{2,m})^2}{2\sigma_{2,m}^2})})}\\ &=\sum_{m=1}^M[(-\frac{1}{2}\log2\pi\sigma_{2,m}^2)-E_{q(z_m)}\frac{(z_m-\mu_{2,m})^2}{2\sigma_{2,m}^2}]\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{2,m}^2}-\frac{1}{2}\sum_{m=1}^M\frac{1}{\sigma_{2,m}^2}E_{q(z_m)}(z_m-\mu_{2,m})^2\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{2,m}^2}-\frac{1}{2}\sum_{m=1}^M\frac{1}{\sigma_{2,m}^2}E_{q(z_m)}(z_m^2-2z_m\mu_{2,m}+\mu_{2,m}^2)\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{2,m}^2}-\frac{1}{2}\sum_{m=1}^M\frac{1}{\sigma_{2,m}^2}(\sigma_{1,m}^2+\mu_{1,m}^2-2\mu_{1,m}\mu_{2,m}+\mu_{2,m}^2)\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{2,m}^2}-\frac{1}{2}\sum_{m=1}^M\frac{1}{\sigma_{2,m}^2}[\sigma_{1,m}^2+(\mu_{1,m}-\mu_{2,m})^2]\\ &=-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{2,m}^2}-\frac{1}{2}\sum_{m=1}^M(\frac{\sigma_{1,m}^2}{\sigma_{2,m}^2}+\frac{(\mu_{1,m}-\mu_{2,m})^2}{\sigma_{2,m}^2})\\ \end{aligned}$

其中 $E_{q(z_m)}z_m^2=\sigma_{1,m}^2+\mu_{1,m}^2$ ,因为 $D(x) = E(x^2)-[E(x)]^2$ 即 $\sigma_{1,m}^2 =E_{q(z_m)}z_m^2-\mu_{1,m}^2$ 。而 $E_{q(z_m)}z_m=\mu_{1,m}$ 。

将两式合并可得

$\displaystyle D_{KL}(q(z)||p(z))\\= \int_{z}q(z)\log{q(z)}dz-\int_{z}q(z)\log{p(z)}dz\\= -\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M(\log{\sigma_{1,m}^2+1)}-[-\frac{M}{2}\log{2\pi}-\frac{1}{2}\sum_{m=1}^M\log{\sigma_{2,m}^2}-\frac{1}{2}\sum_{m=1}^M(\frac{\sigma_{1,m}^2}{\sigma_{2,m}^2}+\frac{(\mu_{1,m}-\mu_{2,m})^2}{\sigma_{2,m}^2})]\\ =\frac{1}{2}\sum_{m=1}^{M}[\log{\frac{\sigma_{2,m}^2}{\sigma_{1,m}^2}}+\frac{\sigma_{1,m}^2}{\sigma_{2,m}^2}+\frac{(\mu_{1,m}-\mu_{2,m})^2}{\sigma_{2,m}^2}-1]$

在变分自编码器中， $q(z)\sim N(z;\mu_I,\sigma_I^2I),p(z)\sim N(z;0,I)$ ,故

$\begin{aligned} \displaystyle D_{KL}(q(z)||p(z))&=\frac{1}{2}\sum_{m=1}^{M}(-\log{\sigma_{I}^2}+\sigma_{I}^2+\mu_I^2-1)\\ &=\frac{1}{2}(-\log{|\sigma_{I}^2I|}+tr(\sigma_{I}^2I)+\mu_I^T\mu_I-M) \end{aligned}$

参考资料

两个多变量高斯分布之间的KL散度https://zhuanlan.zhihu.com/p/55778595https://github.com/jojonki/AutoEncoders/blob/master/kl_divergence_between_two_gaussians.pdfhttps://github.com/jojonki/AutoEncoders/blob/master/kl_divergence_between_two_gaussians.pdf

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！

标签：技术

Duilib中list控件支持ctrl和shif多行选中的实现

[ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

win10系统微软输入法于eclipse ctrl+shif+f冲突间接处理办法

Codeforces Round #259 (Div. 2) B. Little Pony and Sort by Shif

读LDD3，内存映射与DMA--PAGE_SHIF…

VMware虚拟机安装XP【要先分区，再设置BOOT 启动CD，shif+上移】

更换iBus五笔的左与右Shif

sublime ctrl+shif+f 没用解决办法

idea 对 ctrl + z 的撤销是 ctrl + shif + z

计算机最早的设计师应用于,计算机应用基础选择题doc.doc

win10自带截图神器：Win+Shift+S

Python基础之文件目录操作

python简述目录_Python基础之文件目录操作(示例代码)

tp5 如何做数据采集

任务2-7(服务器字体+阿里巴巴矢量库)

html标签（1)：h1~h6,p,br,pre,hr

TI 电量计介绍与芯片选型指南

几款TI电源芯片简介

TI DSP芯片C2000系列读取FLASH数据

德州仪器(Ti)平台嵌入式开发基础

TI三相电机智能栅极驱动芯片特点分类

省选模拟（12.08） T3 圈圈圈圈圈圈圈圈

Hadoop生态圈技术栈（上）

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之6.Impala交互式查询

小猿圈之Linux下Mysql 操作命令

大数据Hadoop生态圈常用面试题

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之4.Hive DDL、DQL和数据操作

备战Noip2018模拟赛11（B组）T3 Monogatari 物语

【智能优化算法-圆圈搜索算法】基于圆圈搜索算法Circle Search Algorithm求解单目标优化问题附matlab代码

NYOJ 78 圈水池

递归问题跑道汽车绕圈问题 Python实现

Hadoop生态圈（三）：MapReduce

两个多维高斯分布的KL散度公式推导

一维正态分布的均值与方差公式推导

两个多维高斯分布的KL散度

参考资料

相关文章