斯坦福大学11月份的论文《NECST：Nerual Joint Source-Channel Coding》

Posted 2021-01-27 smartcommunication

文章简要概括：文中提出了一种神经纠错和信源修剪码（NECST：Neural Error Correcting and Source Trimming），即通过端到端的方式去学习联合编码和解码。

针对于如何将图像数据编码为比特流，使得其能够在带噪通信信道中进行可靠地传输这一问题，香农的结论是对于一个无记忆信道，当图像大小趋于无穷时，最好地方法是将信源编码（去冗余，尽可能压缩）和信道编码（抗干扰，加入冗余）这两个过程分离开来。然而，当在有限比特长度的情况下，香农的这一分离方法面临两大限制，一方面，没有了无限长的比特数用于传播，整体的失真（即重建质量）成了信源编码和信道编码误差两者的函数，如何给两个过程分别分配多少比特数，以及码的自身设计成了一个极其困难的问题。另一方面，最大似然解码通常是NP难的。

而NECST是一个在给定比特长度下，去联合地学习如何压缩和纠错输入图像的深度学习框架。主要分为三个步骤：（1）使用NN将每个图像编码成一个合适的比特流表示，从而回避了通过手工设计的编码方案，后者为了好性能，通常需要额外的微调；

（2）在模型中仿真了一个离散信道，并给隐码（latent code）直接加入了噪声来确保鲁棒性；

（3）将解码过程分摊（amortize），从而可以扩展到大规模数据集。

但由于离散随机隐变量的不可微性，文中采用了无偏差低方差梯度估计的相关新技术，通过将图像和它们的二元（比特流）表示间的互信息的变分下界作为目标函数，从而训练模型来获得鲁棒的码。NECST也可以看作一个隐式生成模型。

文中最后在灰度图和RGB图像数据集上进行了实验，相对于工业标准压缩（如JPEG）和纠错码（如LDPC码），NECST有了显著的性能提升。同时，解码部分，和基于迭代置信传播的标准解码算法相比，NECST速度有了一个数量级的提升，在GPU上则有两个数量级的提升。而且，其学习到的离散表示可以用于下游任务如分类。

编码过程：sum