论文阅读 (84)：A GAN-based Algorithm for Multi-Instance Multi-Label Learning on Overlapping Signal Wavefo

Posted 2023-03-03 因吉

文章目录

• 1 概述
• • 1.1 题目
  • 1.2 摘要
  • 1.3 引用
• 2 引入
• 3 相关工作
• • 3.1 半监督学习
  • 3.2 多示例多标签学习
  • 3.3 重叠信号波形识别
• 4 基础知识
• • 4.1 MIML
  • 4.2 信号模型
• 5 方法
• • 5.1 时频分析
  • 5.2 MIML-GAN
  • 5.3 自适应阈值校准模块
• 6 MIML对抗目标
• • 6.1 鉴别器的目标函数
  • 6.2 生成器的优化目标
  • 6.3 MIML-GAN算法
• 7 实验设计
• • 7.1 数据集描述和评估指标
  • 7.2 基础方法
  • 7.3 实验设置
• 8 性能和分析
• • 8.1 不同标签率下时域和时频域重叠信号相关实验
  • 8.2 不同半监督方法的性能对比
  • 8.3 特征表征的质量评估
  • 8.4 不同超参数下的性能
  • 8.5 生成样本的质量评估
  • 8.6 计算复杂度分析
  • 8.7 不同阈值策略下的性能
• 9 结论

1 概述

1.1 题目

2023：基于GAN的重叠信号波形识别多示例多标签学习 (MIML-GAN: A GAN-based algorithm for multi-instance multi-label learning on overlapping signal waveform recognition)

1.2 摘要

现有的重叠信号自动波形识别大多以监督方式进行。虽然它们取得了优越的性能，但却严重依赖标记样本。而标记样本的获取通常是昂贵、耗时，甚至于不可能的。这样的缺陷驱动了对半监督学习方法的研究，其未标记样本可以在训练阶段充分利用。多示例多标签学习 (MIML) 本质上是另一种弱监督学习形式，能够精确匹配从重叠信号转换中获得的时频图像TFI的形式。

本文利用对抗训练的优势来制定MIML-GAN算法，以适应于重叠信号波形识别的MIML问题：

1. 输入TFI，MIML-GAN使用对抗学习来近似训练集的分布；
2. 通过自适应阈值校准，从MIML鉴别器上的实例级预测中导出包级别预测；
3. 研究了目标函数的全局最优性，并对重叠信号数据集进行了广泛的模拟，验证了所提方法的优势。

1.3 引用

@articlePan:2023:115,
author		=	Ze Si Pan and Bo Wang and Rui Bin Zhang and Sha Fei Wang and Yun Jie Li and Yan Li,
title		=	MIML-GAN: A GAN-based algorithm for multi-instance multi-label learning on overlapping signal waveform recognition,
journal		=	IEEE Transactions on Signal Processing,
year		=	2023,
pages		=	1--15,
doi			=	10.1109/TSP.2023.3242091

2 引入

高效且准确的自动波形识别 (Automatic waveform recognition, AWR) 是现代电子战中的迫切要求。随着电子环境的持续复杂化，拦截器可能受到多个潜在发射器的影响，进而产生重叠信号。作为电子侦察的第一步，信号波形的准确检测可以为后继参数评估与干扰实现提供保证。因此，重叠信号波形的自动识别是极具实际意义的，并已成为信号处理领域的热门话题。

一个标准的AWR技术主要包含两个任务：信号特征提取 (Signal feature extraction) 和调制分类 (Modulation categorization)。对于单分量信号AWR，已有方法大都利用手动制作的特征来训练多分类器。然而，单调制识别中使用的传统特征，如高阶矩和累积量、瞬时频率和相位，以及功率谱密度等都不足以应对重叠信号，因为它们不能充分描述单个信号的特定物理属性。此外，潜在的混合类型是随机的，计算特征也将导致很差的扩展性。

近二十年来，深度学习 (DL) 方法已经展示了其对高复杂性特征表示上的学习能力。已有的工作也在很大程度上证明了DL可以提取到比计算机视觉中的手动提取特征更为健壮有效的表示。因此，DL提供了更有效的多调制信号识别任务的解决方法。

直观上，多分类学习 (MCL) 和多标签学习 (MLL) 能够自然地对应信号识别任务，因为它们能够直接最大化候选类别中真实标签的的概率。尽管它们很成功，但相当依赖于用于训练的监督数据。然而，对于非协作侦察中的交叠信号AWR，感知信号通常缺乏足够的实例级别甚至是包级别的标签，即遇见前所未有的的未标记数据也是相当常见的。对于高实时性要求的电子战系统，手动标记显然不现实。

因此，作为手动标记数据的替代，我们迫切需要同时探索弱监督和未标记数据。典型的弱监督学习则包括半监督学习 (SSL) 和多示例学习 (MIL)。MIL将目标图像视作多个语义实例，但这并不足以描述重叠信号，因为它主要针对二分类。MLL将目标图像作为一个整体，忽略了局部信息。MCL在类别数量方面受到指数级别的影响。在这种情况下，MIML被提出，其结合了MLL和MIL的优势，将信号分离为几个感兴趣的区域，然后为每个区域分配多个候选标签。

为了解决SSL问题，生成模型将其视为用于分类的特定缺失数据插补任务。作为生成模型的代表，生成对抗网络 (GAN) 是最有前景的无监督学习方法之一，其强大的数据生成和特征表示能力助力了它的成功。一般地，GAN在训练阶段迭代地训练以在生成器和鉴别器之间寻求一种平衡。与其他生成模型不同，GAN不会对未标记数据的变分下届执行对数似然最大化，而是隐式地近似来自训练生成器的数据分布。这使得GAN成为SSL中的一个很有竞争力的方法。特别地，Sailmans等人首次结合SSL和深度卷积GAN (DCGAN) 并训练模型，验证了同时使用标记和未标记数据的可行性。Spingenberg等人提出了类别感知GAN (CatGAN)，其制定了一个目标函数来权衡观察样本和预测的类别类分布之间的互信息。然而，目前几乎没有一个用于多语义SSL问题的基于GAN的研究。因此本文利用GAN来结合两个弱监督学习策略，即MIML和SSL，以处理重叠信号波形识别。

具体地，本文提出MIML-GAN来处理有限标注重叠信号的AWR，其分为四个步骤：

1. 侦察信号转换为时频图像 (Time-frequency image, TFI)；
2. 生成器和鉴别器迭代训练，以提升MIML设置下的表征能力；
3. 对抗学习之后，鉴别器提供一个概率预测；
4. 阈值校准模块 (Threshold calibration module) 获取最终预测。

本文的主要贡献如下：

1. 提出MIML-GAN来解决半监督场景下的多语义信息分类问题；
2. 基于MIML学习和GAN，分别为生成器和鉴别器设置目标函数；
3. 在温和假设下研究了生成器和鉴别的全局最优性，并提供了充分的证明；
4. MIML-GAN能够处理异质数据集，即使用有限标注的单调制类型信号作为训练集，其可以在时域和时频域重叠的信号测试集上实现与监督学习方法相当的性能。

3 相关工作

3.1 半监督学习

标注数据的稀缺促使了多种弱监督学习的发展，例如噪声标签学习、正-无标签学习、小样本学习，以及从标签比例中学习。SSL是一种介于监督和无监督之间的学习形式，其问题场景是数据集中仅有一小部分有标记。SSL在具有大量无标记数据的应用中具有很高的实际意义。

一些SSL已经被引入到机器学习中，如自训练、图模型，以及对抗方法。随着深度神经网络的发展，基于SSL的深度模型在信号处理领域展现了巨大的优势，且降低了处理有限数据时的复杂度。特别地，O’shea等人提出了一种卷积自编码器，其利用基于无监督和监督方法的稀疏信号表示进行非线性特征学习和聚类方法。这些方法可以利用原始无线电数据的时序特征来聚类众多信号调制类型，其优势是不需要明确标记训练数据。此外，Dong等人提出了一个深度模型SSRCNN，其同时使用系数促进交叉熵损失和KL散度，以提升预测的健壮性。

在过去的几年里，GAN被引入到信号处理领域，且被证明具备前景。Li等人使用基于GAN的AWR框架来处理认知无线电。一个半监督辅助分类GAN (SSAC-GAN) 被用于数字信号调制识别。Zhou等人使用一个半监督DCGAN来识别几个开放源信号数据中的调制，其使用原始IQ信号作为输入。然而，这些方法的局限性是：忽略了局部语义信息，且所提取的特征不足以支持多标签分类。本文关注更复杂的重叠信号识别任务。

3.2 多示例多标签学习

MIML在探索使用实例的预测标签来获取包标签的情况下有很高的准确率和很好的理论基础。尽管如此，具有深度架构的MIML研究相对不成熟。已有DL算法也太多基于有监督场景，仅有少量的弱监督方法被提出。在我们的知识范围内，只有很少的算法通过DL来解决MIML问题。

Feng等人首次题词DeepMIML，其结合了MIML和卷积神经网络 (CNN)，用以处理多语义信息问题。具体地，DeepMIML结构的子概念学习组件保留了MIML算法的实例标签关系发现能力。基于此，Song等人结合标签的文本上下文生成多模态实例，并采用MIML原理进一步探索标签之间的相关性。该方法在MIML图像分类数据集上取得了显著的性能。Yang等人提出了一个半监督多模态MIML结构并探索了标签相关性，以基于最优传输理论实现更好的预测。实验也验证了它在基准和WKG GameHub数据集上的优势。

3.3 重叠信号波形识别

目前没有研究利用SSL来处理重叠信号波形识别问题。特别地，Pan等人提出了MIML-DCNN框架来处理重叠信号识别问题。大多数文献仅关注双分量重叠信号，而MIML范式的引入为具有更多分量重叠信号的处理提供了支持。利用监督信息，Ren等人引入重叠信号的多领域特征，并将每个重叠信号视作是一个新类，构建了一个MCL分类器。尽管该方法成功识别了时间领域和时频交叠模式下的双分量信号，然而其性能随着组成信号数量的增强而显著降低，原因在于候选类别的数量显著增长。Si等人使用CNN作为基础结构以构建ML分类器，在双分量形式下的雷达信号领域取得了不错的成绩。这些分类器可以改善MCL方法的识别率，但是它们认为TFI的每个部分都包含所有标签的属性，即MIML中的包级别标签，即便它没有。当组成信号的数量增长时，TFI的本地内容将趋向复杂，精度偏差将相对明显。

4 基础知识

本节描述一些关于算法的基础知识，包括MIML的形式定义和信号模型。

4.1 MIML

MIML是一种针对于多语意对象分类问题的弱监督学习形式。尽管很多传统的多标签方法已经被提出用于处理此类问题，但它们通常将多语义图像作为一个统一的整体，忽略了来自不同兴趣区域的信息。这样的设置下，MIML将退化为MLL问题，而一个完整的MIML方法应当将MIL纳入组织形式。

从完整MIML的角度出发，目标的多个实例看作是包，其包含多个具有不同含义的局部实例。因此，包也对应于多个标签。特别地，令$S^j,W^j{}_{j=1}^J$表示包含$J$个包的训练集，其中每个包$S^j$包含$h$个实例$I_1^j,I_2^j,\dots ,I_h^j$。此外，$W^j=(w_1^j,w_2^j,\dots ,w_l^j)$是一个对应于$S^j$的$l$维向量，其中$l$是实例级别标签的数量。例如，当$S^j$中包含至少一个实例被指定为第$l$个标签时，$w_l^j=1$，否则$w_l^j=0$。形式上，令$S$和$W$分别表示实例和标签的集合。MIML的目标是为每一个测试样本$S^j$输出一个预测的标签向量，即建立函数$f_{\text{MIML}}:2^S\to 2^W,f_{\text{MIML}}\in 0,1{}^l$。

4.2 信号模型

假设电子环境中有几个独立的发射器，所有的发射器将在相似的载波频率下传输信号。因此，被动侦察系统截获的信号可能在时域和频域上重叠。考虑到截获的重叠信号受到加性高斯白噪声 (Additive white Gaussian noise, AWGN) 的干扰，重叠信号的接受复包络的一般表达为：
$$\begin{array}{rl}{y}_{\text{overlaping}}& =\sum _{i=1}^K{S}_i(nT)+\omega (nT)\\ & =\sum _{i=1}^K{h}_i{A}_i{e}^{j(2\pi \Delta f_i(nT)+{\varphi }_i+{\theta }_i)}+\omega (nT),\end{array}\text{\hspace{1em}(1)}$$其中$T$表示采样间隔、$S_i(nT)$是来自第$i$个发射器的离散时间复信号，以及$\omega (nT)$是复AWGN。此外，$h_i$表示来自第$i$个发射机的信道系数、$A_i$是非零常数信号包络、$\Delta f_i(nT)$表示载波频率，${\varphi }_i$和${\theta }_i$则分别表示第$[论文阅读]DARTS$

bigtable论文阅读笔记

Matlab论文插图绘制模板第84期—极坐标散点图（PolarScatter）

感悟篇: 阅读图灵的论文

Object Detection in 20 Years A Survey-论文翻译（阅读笔记）

程序算法艺术与实践关于 AlphaGo 论文的阅读笔记