极化码：信道极化原理(二)——两信道极化定理证明

前言：
极化码：信道极化原理(一)——两信道极化

正文：
定理：经过 ( W , W ) ↦ ( W 2 ( 1 ) , W 2 ( 2 ) ) (W,W)\mapsto (W_{2}^{(1)},W_{2}^{(2)}) (W,W)↦(W2(1)​,W2(2)​)的极化变换后， W 2 ( 1 ) W_{2}^{\left( 1 \right)} W2(1)​与 W 2 ( 2 ) W_{2}^{\left( 2 \right)} W2(2)​的信道容量满足

I ( W 2 ( 1 ) ) + I ( W 2 ( 2 ) ) = 2 I ( W ) , (1) I(W_{2}^{(1)})+I(W_{2}^{(2)})=2I(W), \tag{1} I(W2(1)​)+I(W2(2)​)=2I(W),(1)

I ( W 2 ( 1 ) ) ⩽ I ( W ) ⩽ I ( W 2 ( 2 ) ) . (2) I(W_{2}^{(1)}) \leqslant I(W) \leqslant I(W_{2}^{(2)}). \tag{2} I(W2(1)​)⩽I(W)⩽I(W2(2)​).(2)

证明：给定大小字母$X$和$Y$分别表示$x$和$y$的随机变量，有

I ( W 2 ( 1 ) ) = I ( U 1 ; Y 1 Y 2 ) I(W_{2}^{(1)}) = I(U_1;Y_1Y_2) I(W2(1)​)=I(U1​;Y1​Y2​)

I ( W 2 ( 2 ) ) = I ( U 1 ; Y 1 Y 2 ∣ U 2 ) I(W_{2}^{(2)}) = I(U_1;Y_1Y_2|U_2) I(W2(2)​)=I(U1​;Y1​Y2​∣U2​)

接着，可得

I ( W 2 ( 1 ) ) + I ( W 2 ( 2 ) ) = I ( U 1 ; Y 1 Y 2 ) + I ( U 1 ; Y 1 Y 2 ∣ U 2 ) = I ( U 1 , U 2 ; Y 1 ; Y 2 ) = I ( X 1 , X 2 ; Y 1 ; Y 2 ) = I ( X 1 ; Y 1 ) + I ( X 2 ; Y 2 ) = 2 I ( W ) \begin{aligned} I(W_{2}^{(1)}) + I(W_{2}^{(2)}) &= I(U_1;Y_1Y_2) + I(U_1;Y_1Y_2|U_2)\\ &=I(U_1,U_2;Y_1;Y_2) \\ &=I(X_1,X_2;Y_1;Y_2) \\ &=I(X_1;Y_1) + I(X_2;Y_2)\\ &=2I(W) \end{aligned} I(W2(1)​)+I(W2(2)​)​=I(U1​;Y1​Y2​)+I(U1​;Y1​Y2​∣U2​)=I(U1​,U2​;Y1​;Y2​)=I(X1​,X2​;Y1​;Y2​)=I(X1​;Y1​)+I(X2​;Y2​)=2I(W)​

至此，公式(1)证明完毕。

为证明公式(2)，有
I ( W 2 ( 2 ) ) = I ( U 1 ; Y 1 Y 2 ∣ U 2 ) = I ( U 1 ; Y 1 ∣ U 2 ) + I ( U 1 ; Y 2 ∣ U 2 , Y 1 ) = I ( U 1 ; Y 1 ) + I ( U 1 ; Y 2 ∣ U 2 , Y 1 ) = I ( W ) + I ( U 1 ; Y 2 ∣ U 2 , Y 1 ) ≥ I ( W ) \begin{aligned} I(W_{2}^{(2)}) &= I(U_1;Y_1Y_2|U_2) \\ &= I(U_1;Y_1|U_2) + I(U_1;Y_2|U_2, Y_1) \\ & = I(U_1;Y_1) + I(U_1;Y_2|U_2, Y_1) \\ & = I(W) + I(U_1;Y_2|U_2, Y_1) \\ & \ge I(W) \end{aligned} I(W2(2)​)​=I(U1​;Y1​Y2​∣U2​)=I(U1​;Y1​∣U2​)+I(U1​;Y2​∣U2​,Y1​)=I(U1​;Y1​)+I(U1​;Y2​∣U2​,Y1​)=I(W)+I(U1​;Y2​∣U2​,Y1​)≥I(W)​

至此，公式(2)证明完毕。

参考文献
[1] E. Arıkan, “Channel polarization: A method for constructing capacity achieving codes for symmetric binary-input memoryless channels,” IEEE Transactions on Information Theory, vol. 55, no. 7, pp. 3051–3073, Jul. 2009.

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！