多维高斯随机变量概率密度函数(PDF)的推导

假设 $n$ 维随机变量
X = [ x 1 , x 2 , … , x n ] T X=[x_1,x_2,\dots,x_n]^T X=[x1​,x2​,…,xn​]T其中：
x i ∼ N ( μ i , σ i 2 ) ， ∀ i ∈ [ 1 , n ] x_i \sim N(\mu_i,\sigma_i^2 ) ，\forall i \in [1,n] xi​∼N(μi​,σi2​)，∀i∈[1,n]$X$ 的协方差矩阵为
Σ X = E [ ( X − μ ) ( X − μ ) T ] (1) \tag 1 \Sigma_X=E[(X-\mu)(X-\mu)^T] \\ ΣX​=E[(X−μ)(X−μ)T](1) μ = [ u 1 , u 2 , … , u n ] T (1.1) \tag {1.1} \mu=[u_1,u_2,\dots,u_n]^T μ=[u1​,u2​,…,un​]T(1.1)

下面开始推导多维高斯随机变量X的概率密度函数 f X f_X fX​：

构造一个 $n$ 维随机变量 Y = [ y 1 , y 2 , … , y n ] T Y=[y_1,y_2,\dots,y_n]^T Y=[y1​,y2​,…,yn​]T
其中
y 1 = x 1 − μ 1 y i = ( x i − μ i ) − ∑ j = 1 i − 1 c o v ( x i , y j ) σ y j 2 y j ∀ i ∈ [ 2 , n ] (2) \begin{aligned} \tag 2 y_1&=x_1-\mu_1\\ y_i&=(x_i-\mu_i)-\sum_{j=1}^{i-1}\frac {cov(x_i,y_j)} {\sigma_{y_j}^2} y_j \quad \forall i \in [2,n] \end{aligned} y1​yi​​=x1​−μ1​=(xi​−μi​)−j=1∑i−1​σyj​2​cov(xi​,yj​)​yj​∀i∈[2,n]​(2)其中 σ y j \sigma_{y_j} σyj​​ 是随机变量 y j y_j yj​ 的标准差；

进一步构造 $n$ 维随机变量 Z = [ z 1 , z 2 , … , z n ] T Z=[z_1,z_2,\dots,z_n]^T Z=[z1​,z2​,…,zn​]T，其中 z i = y i / σ y i z_i=y_i / \sigma_{y_i} zi​=yi​/σyi​​。

根据上面的构造过程，随机变量 $Z$ 是 $X-\mu$ 的线性组合：
$$Z=A(X-\mu ）\text{\hspace{1em}(3)}$$且 $A$ 是一个对角线元素为正实数的下三角矩阵，因此矩阵 $A$ 可逆。

根据前述 $Z$ 的构造过程，我们知道：
z i ∼ N ( 0 , 1 ) (2) \tag 2 z_i \sim N(0,1) zi​∼N(0,1)(2) c o v ( z i , z j ) = { 1 if  i = j 0 if  i ≠ j (3) \tag 3 cov(z_i,z_j)= \begin{cases} 1 &\text{if } i=j \\ 0 &\text{if } i\not=j \end{cases} cov(zi​,zj​)={10​if i=jif i=j​(3)
于是 $Z$ 的协方差矩阵是单位矩阵。即：

Σ Y = c o v ( Z , Z ) = E [ Z Z T ] = I (4) \tag 4 \Sigma_Y=cov(Z,Z)=E[ZZ^T] = I ΣY​=cov(Z,Z)=E[ZZT]=I(4)同时：
Σ Y = c o v ( Z , Z ) = E [ Z Z T ] = E [ A ( X − μ ) ( X − μ ) T A T ] = A E [ ( X − μ ) ( X − μ ) T ] A T = A Σ X A T (5) \begin{aligned} \tag 5 \Sigma_Y=cov(Z,Z)&=E[ZZ^T]\\ &=E[A(X-\mu)(X-\mu)^T A ^ T]\\ &=A E[ (X-\mu)(X-\mu)^T ] A ^ T\\ &= A \Sigma_X A^T \end{aligned} ΣY​=cov(Z,Z)​=E[ZZT]=E[A(X−μ)(X−μ)TAT]=AE[(X−μ)(X−μ)T]AT=AΣX​AT​(5)
由于 $A$ 可逆，结合式（4）和式（5）可得：
Σ X − 1 = A T A (6) \tag 6 \Sigma_X^{-1} = A ^ T A ΣX−1​=ATA(6)
另一方面，因为随机变量 x i x_i xi​ 是高斯正态分布，根据高斯正态分布的性质， x i − μ i x_i-\mu_i xi​−μi​ 的线性组合 z i z_i zi​也是一个高斯正态分布。根据式（2）和式（3），$i\ne j$ 时， z i z_i zi​ 和 z j z_j zj​ 是不相关的，于是 $Z$ 的联合概率密度函数就等于各 z i z_i zi​的概率密度函数的乘积：
f Z ∝ e − 1 2 z 1 2 e − 1 2 z 2 2 … e − 1 2 z n 2 = e − 1 2 ( z 1 2 + z 2 2 + ⋯ + z n 2 ) = e − 1 2 ( Z T Z ) (7) \begin{aligned} \tag 7 f_Z&\propto e^{-\frac 1 2 z_1^2}e^{-\frac 1 2 z_2^2} \dots e^{-\frac 1 2 z_n^2} \\ &=e^{-\frac 1 2 (z_1^2 + z_2^2 + \dots + z_n^2)}\\ &=e^{-\frac 1 2(Z^T Z)} \end{aligned} fZ​​∝e−21​z12​e−21​z22​…e−21​zn2​=e−21​(z12​+z22​+⋯+zn2​)=e−21​(ZTZ)​(7)
结合式（3）和式（6），于是有：
f X = α e − 1 2 [ ( X − μ ) T A T A ( X − μ ) ] = α e − 1 2 [ ( X − μ ) T Σ X − 1 ( X − μ ) ] (8) \begin{aligned} \tag 8 f_X & =\alpha e^{-\frac 1 2 [ ( X - \mu) ^ T A ^ T A (X - \mu)]} \\ &=\alpha e^{-\frac 1 2 [ ( X - \mu) ^ T \Sigma_X^{-1} (X - \mu)]} \end{aligned} fX​​=αe−21​[(X−μ)TATA(X−μ)]=αe−21​[(X−μ)TΣX−1​(X−μ)]​(8)其中$\alpha$是归一化因子。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！