极化码之高斯近似

Posted 2020-10-07 Mr-Tiger

极化码的高斯近似

我们知道，极化码的诞生在伴随着“到达香农限”的光荣头衔的同时，也遗憾的存在许多缺点。

极化码有两大法宝——低复杂度和高可靠性。其中高可靠性的前提条件为“码长较长时”，在短码领域，由于信道极化的不充分，极化码并不能很好的逼近香农限。低复杂度也有前提条件，就是它是基于BEC（二元删除信道）提出的，在BEC信道下，极化码的编码和译码都具有较低的复杂度。然而，在其他信道上我们不得不采用各种近似手段，如蒙特卡洛法、密度进化法等，这些方法的引入使得极化码的低复杂度特点受到一定的冲击。

在上一章节的极化码编码之中，我们提到了高斯近似这个构造极化码的重要方法。本节，我们来详细介绍一下在AWGN信道下，如何利用高斯近似法克服极化码“水土不服”的高傲特性。

AWGN信道

　　AWGN（加性高斯白噪声）是无线通信中非常常见的一种噪声模型，噪声的幅度服从正态分布，功率谱密度均匀分布。以AWGN为噪声的信道称为AWGN信道，是通信系统之中经常用到的一个理想信道模型。

 

假设

　　我们在AWGN信道下，采用BPSK调制，以极化码作为信道编码方案，传输一组信息。

 

预备知识

　　假设输入符号集为X，则X={0,1}。

　　假设输出为y，则根据BPSK调制原理，

　　其中，n为噪声变量，服从高斯分布：

　　根据概率论中的知识，由期望和方差的性质可以发现，y也是一个高斯随机变量，且，其中m取值为±1。

　　根据高斯分布概率密度函数，高斯随机变量y的概率密度可以表示为：　　对于AWGN信道，信道的转移概率为W(y|x)。我们在接收端得到一个y值，与之对应的x有两种可能——{0,1}。于是有：　　我们对y通过似然判决法进行解码，设似然比LR为：

　　将上面两个式子代入分式之中，得到：　　定义对数似然比LLR=log LR，则：　　因为1/σ^2可以视为常数，因此发现LLR也是一个高斯随机变量，易得：

 

对称一致条件

　　对于一个随机变量n，如果其概率密度函数满足：

　　我们称这个变量满足“对称一致条件”

　　满足对称一致条件的随机变量的方差是均值的两倍。

　　令m=1，也即假设发送端发送的全都是0。LLR的均值变为方差的一半，我们可以把LLR的密度函数表达式代入上式检查一致性，结论是LLR符合对称一致条件。

　　上面铺垫的已经差不多了，我们现在引入高斯近似法的结论/定理/假设：

高斯假设

　　大家可以看到，这是我直接从论文中截出来的图。我所参考的两篇论文均来自于同一位作者，中英两版各有侧重。论文标题放在这里，感兴趣的可以自己去看：

　　【1】《极化码构造与译码算法研究》吴道龙[著]

　　【2】《Construction and Block Error Rate Analysis of Polar Codes Over AWGN Channel Based on Gaussian Approximation》by Daolong Wu etc

　　下面我们探讨如何证明这个假设，以及这个假设如何能够应用到极化码的构造之中。

　　首先我们来定义一种全新的运算

box plus

　　“”，这个运算为box plus，很形象。定义式：

 　　观察等式右边的分式，发现它与Arikan递推公式在形式上非常相似：　　对于似然比LR：　　根据对数似然比的定义，由LLR = ln LR得到LR = e^LLR，我们发现，LLR满足box plus的形式。

　　我们将LR映射到其对数域LLR中，并重新改写Arikan递推公式：　　先来观察j=1时的情况。　　对于这个式子，观察等式右边的两个因子。根据递推公式，我们可以得到：　　于是，我们得到：

　　根据我们之前所得到的结论，当我们传输全0比特时，LLR服从高斯分布，且符合对称一致条件。上式中，从L₁到L_N都具有这种属性。

　　根据高斯近似定理：可以用一个高斯随机变量进行近似，均值为。

　　我们知道，Arikan递推公式有两个，刚才我们只是对第一个做了近似，那么第二个呢？

　　同样我们把原公式映射到对数域中，写出i=1时的形式：　　观察这个式子，从这里可以体现高斯假设中“假定前i-1个比特都正确解码”这个条件的作用。因为我们假定全0传输，当前i-1个比特解码成功有，于是，上面公式的指数项消失。由于相加的两个因子都是满足对称一致条件的高斯随机变量，因此也是一致高斯随机变量，服从方差为均值二倍的高斯分布。

　　这是一个特例，从其中我们可以发现，无论i是奇数还是偶数，对应的信道我们都能用高斯近似的办法使得该信道的对数似然值成为一致高斯随机变量。

　　推广来说，通过递推手段，我们可以得到第i个信道的对数似然值的均值：

　　对于，当i为奇数时：

　　当i为偶数时：　　基于上面的分析，我们可以得到下面的结论：

　　（全0发送时）当之前的i-1个比特全都正确译码，SC译码的第i个比特的译码对数似然比LLR为一个一致高斯随机变量，设对数似然比均值为E，则LLR~N(E,2E)。由此，根据BPSK调制下的误码率性能公式：

　　其中，r为信噪比，，a为均值，σ_n²为噪声方差。

　　可以得到，第i个比特的错误概率为：

　　其中，为一个事件集合。

　　到这里，高斯假设已经被证明。那么，这个假设又是如何引用到极化码的构造之中的呢？我们继续来探讨。

　　定义事件为“一组长度为N的码块发生了错误”，则表示发生误组事件的概率。容易得到：　　很明显，我们如果想要误组率尽可能的小，可以让尽可能的小。根据的表达式，由于互补误差函数erfc()是单调递减的，所以我们要让E尽可能的大。

　　我们得到了一条关键的线索，为了构造错误尽可能小的极化码，问题转化为寻找尽可能大的E。沿着这一思路，我们只需要想办法求出所有信道的E形成参数向量，然后对参数向量进行排序，再根据给定的码率选择E较大的那一部分信道作为信息位，就能够实现我们的目的。

　　求E的步骤很好理解，它跟我们的SC译码非常相似，我们从解码图的最右侧开始求起。

　　对于解码图的最右侧一列，我们已经证明他们的对数似然比全都是一致高斯随机变量，符合高斯分布。

　　然后我们开始往左侧递推，i为奇数时使用近似公式，i为偶数时直接乘以二倍。迭代求解，直至求得所有信道的对数似然值均值。

性能与复杂度

　　高斯近似的性能怎么样，这种办法靠不靠谱？

　　

　　图片引用自论文《Construction and Block Error Rate Analysis of Polar Codes Over AWGN Channel Based on Gaussian Approximation》

　　可以看到，与蒙特卡洛法相比，高斯近似法在误码性能上表现的还可以，基本能够与蒙特卡洛法比肩。

　　在复杂度上，蒙特卡罗法复杂度为O(NlogN)，而密度进化与高斯近似复杂度均为O(n)。

 　　从复杂度和误码性能上综合来看，高斯近似无疑更加适用于高斯信道下的极化码构造。