论文阅读 (84)：A GAN-based Algorithm for Multi-Instance Multi-Label Learning on Overlapping Signal Wavefo

1 概述

1.1 题目

2023：基于GAN的重叠信号波形识别多示例多标签学习 (MIML-GAN: A GAN-based algorithm for multi-instance multi-label learning on overlapping signal waveform recognition)

1.2 摘要

现有的重叠信号自动波形识别大多以监督方式进行。虽然它们取得了优越的性能，但却严重依赖标记样本。而标记样本的获取通常是昂贵、耗时，甚至于不可能的。这样的缺陷驱动了对半监督学习方法的研究，其未标记样本可以在训练阶段充分利用。多示例多标签学习 (MIML) 本质上是另一种弱监督学习形式，能够精确匹配从重叠信号转换中获得的时频图像TFI的形式。

本文利用对抗训练的优势来制定MIML-GAN算法，以适应于重叠信号波形识别的MIML问题：

1. 输入TFI，MIML-GAN使用对抗学习来近似训练集的分布；
2. 通过自适应阈值校准，从MIML鉴别器上的实例级预测中导出包级别预测；
3. 研究了目标函数的全局最优性，并对重叠信号数据集进行了广泛的模拟，验证了所提方法的优势。

1.3 引用

@article{
    
    Pan:2023:115,
author		=	{
    
    Ze Si Pan and Bo Wang and Rui Bin Zhang and Sha Fei Wang and Yun Jie Li and Yan Li},
title		=	{
    
    {
    
    MIML-GAN}: {
    
    A} {
    
    GAN}-based algorithm for multi-instance multi-label learning on overlapping signal waveform recognition},
journal		=	{
    
    {
    
    IEEE} Transactions on Signal Processing},
year		=	{
    
    2023},
pages		=	{
    
    1--15},
doi			=	{
    
    10.1109/TSP.2023.3242091}
}

2 引入

高效且准确的自动波形识别 (Automatic waveform recognition, AWR) 是现代电子战中的迫切要求。随着电子环境的持续复杂化，拦截器可能受到多个潜在发射器的影响，进而产生重叠信号。作为电子侦察的第一步，信号波形的准确检测可以为后继参数评估与干扰实现提供保证。因此，重叠信号波形的自动识别是极具实际意义的，并已成为信号处理领域的热门话题。

一个标准的AWR技术主要包含两个任务：信号特征提取 (Signal feature extraction) 和调制分类 (Modulation categorization)。对于单分量信号AWR，已有方法大都利用手动制作的特征来训练多分类器。然而，单调制识别中使用的传统特征，如高阶矩和累积量、瞬时频率和相位，以及功率谱密度等都不足以应对重叠信号，因为它们不能充分描述单个信号的特定物理属性。此外，潜在的混合类型是随机的，计算特征也将导致很差的扩展性。

近二十年来，深度学习 (DL) 方法已经展示了其对高复杂性特征表示上的学习能力。已有的工作也在很大程度上证明了DL可以提取到比计算机视觉中的手动提取特征更为健壮有效的表示。因此，DL提供了更有效的多调制信号识别任务的解决方法。

直观上，多分类学习 (MCL) 和多标签学习 (MLL) 能够自然地对应信号识别任务，因为它们能够直接最大化候选类别中真实标签的的概率。尽管它们很成功，但相当依赖于用于训练的监督数据。然而，对于非协作侦察中的交叠信号AWR，感知信号通常缺乏足够的实例级别甚至是包级别的标签，即遇见前所未有的的未标记数据也是相当常见的。对于高实时性要求的电子战系统，手动标记显然不现实。

因此，作为手动标记数据的替代，我们迫切需要同时探索弱监督和未标记数据。典型的弱监督学习则包括半监督学习 (SSL) 和多示例学习 (MIL)。MIL将目标图像视作多个语义实例，但这并不足以描述重叠信号，因为它主要针对二分类。MLL将目标图像作为一个整体，忽略了局部信息。MCL在类别数量方面受到指数级别的影响。在这种情况下，MIML被提出，其结合了MLL和MIL的优势，将信号分离为几个感兴趣的区域，然后为每个区域分配多个候选标签。

为了解决SSL问题，生成模型将其视为用于分类的特定缺失数据插补任务。作为生成模型的代表，生成对抗网络 (GAN) 是最有前景的无监督学习方法之一，其强大的数据生成和特征表示能力助力了它的成功。一般地，GAN在训练阶段迭代地训练以在生成器和鉴别器之间寻求一种平衡。与其他生成模型不同，GAN不会对未标记数据的变分下届执行对数似然最大化，而是隐式地近似来自训练生成器的数据分布。这使得GAN成为SSL中的一个很有竞争力的方法。特别地，Sailmans等人首次结合SSL和深度卷积GAN (DCGAN) 并训练模型，验证了同时使用标记和未标记数据的可行性。Spingenberg等人提出了类别感知GAN (CatGAN)，其制定了一个目标函数来权衡观察样本和预测的类别类分布之间的互信息。然而，目前几乎没有一个用于多语义SSL问题的基于GAN的研究。因此本文利用GAN来结合两个弱监督学习策略，即MIML和SSL，以处理重叠信号波形识别。

扫描二维码关注公众号，回复： 14979418 查看本文章

具体地，本文提出MIML-GAN来处理有限标注重叠信号的AWR，其分为四个步骤：

1. 侦察信号转换为时频图像 (Time-frequency image, TFI)；
2. 生成器和鉴别器迭代训练，以提升MIML设置下的表征能力；
3. 对抗学习之后，鉴别器提供一个概率预测；
4. 阈值校准模块 (Threshold calibration module) 获取最终预测。

本文的主要贡献如下：

1. 提出MIML-GAN来解决半监督场景下的多语义信息分类问题；
2. 基于MIML学习和GAN，分别为生成器和鉴别器设置目标函数；
3. 在温和假设下研究了生成器和鉴别的全局最优性，并提供了充分的证明；
4. MIML-GAN能够处理异质数据集，即使用有限标注的单调制类型信号作为训练集，其可以在时域和时频域重叠的信号测试集上实现与监督学习方法相当的性能。

3 相关工作

3.1 半监督学习

标注数据的稀缺促使了多种弱监督学习的发展，例如噪声标签学习、正-无标签学习、小样本学习，以及从标签比例中学习。SSL是一种介于监督和无监督之间的学习形式，其问题场景是数据集中仅有一小部分有标记。SSL在具有大量无标记数据的应用中具有很高的实际意义。

一些SSL已经被引入到机器学习中，如自训练、图模型，以及对抗方法。随着深度神经网络的发展，基于SSL的深度模型在信号处理领域展现了巨大的优势，且降低了处理有限数据时的复杂度。特别地，O’shea等人提出了一种卷积自编码器，其利用基于无监督和监督方法的稀疏信号表示进行非线性特征学习和聚类方法。这些方法可以利用原始无线电数据的时序特征来聚类众多信号调制类型，其优势是不需要明确标记训练数据。此外，Dong等人提出了一个深度模型SSRCNN，其同时使用系数促进交叉熵损失和KL散度，以提升预测的健壮性。

在过去的几年里，GAN被引入到信号处理领域，且被证明具备前景。Li等人使用基于GAN的AWR框架来处理认知无线电。一个半监督辅助分类GAN (SSAC-GAN) 被用于数字信号调制识别。Zhou等人使用一个半监督DCGAN来识别几个开放源信号数据中的调制，其使用原始IQ信号作为输入。然而，这些方法的局限性是：忽略了局部语义信息，且所提取的特征不足以支持多标签分类。本文关注更复杂的重叠信号识别任务。

3.2 多示例多标签学习

MIML在探索使用实例的预测标签来获取包标签的情况下有很高的准确率和很好的理论基础。尽管如此，具有深度架构的MIML研究相对不成熟。已有DL算法也太多基于有监督场景，仅有少量的弱监督方法被提出。在我们的知识范围内，只有很少的算法通过DL来解决MIML问题。

Feng等人首次题词DeepMIML，其结合了MIML和卷积神经网络 (CNN)，用以处理多语义信息问题。具体地，DeepMIML结构的子概念学习组件保留了MIML算法的实例标签关系发现能力。基于此，Song等人结合标签的文本上下文生成多模态实例，并采用MIML原理进一步探索标签之间的相关性。该方法在MIML图像分类数据集上取得了显著的性能。Yang等人提出了一个半监督多模态MIML结构并探索了标签相关性，以基于最优传输理论实现更好的预测。实验也验证了它在基准和WKG GameHub数据集上的优势。

3.3 重叠信号波形识别

目前没有研究利用SSL来处理重叠信号波形识别问题。特别地，Pan等人提出了MIML-DCNN框架来处理重叠信号识别问题。大多数文献仅关注双分量重叠信号，而MIML范式的引入为具有更多分量重叠信号的处理提供了支持。利用监督信息，Ren等人引入重叠信号的多领域特征，并将每个重叠信号视作是一个新类，构建了一个MCL分类器。尽管该方法成功识别了时间领域和时频交叠模式下的双分量信号，然而其性能随着组成信号数量的增强而显著降低，原因在于候选类别的数量显著增长。Si等人使用CNN作为基础结构以构建ML分类器，在双分量形式下的雷达信号领域取得了不错的成绩。这些分类器可以改善MCL方法的识别率，但是它们认为TFI的每个部分都包含所有标签的属性，即MIML中的包级别标签，即便它没有。当组成信号的数量增长时，TFI的本地内容将趋向复杂，精度偏差将相对明显。

4 基础知识

本节描述一些关于算法的基础知识，包括MIML的形式定义和信号模型。

4.1 MIML

MIML是一种针对于多语意对象分类问题的弱监督学习形式。尽管很多传统的多标签方法已经被提出用于处理此类问题，但它们通常将多语义图像作为一个统一的整体，忽略了来自不同兴趣区域的信息。这样的设置下，MIML将退化为MLL问题，而一个完整的MIML方法应当将MIL纳入组织形式。

从完整MIML的角度出发，目标的多个实例看作是包，其包含多个具有不同含义的局部实例。因此，包也对应于多个标签。特别地，令 { S j , W j } j = 1 J \{S^j,W^j\}_{j=1}^J { Sj,Wj}j=1J​表示包含$J$个包的训练集，其中每个包$S^j$包含$h$个实例 { I 1 j , I 2 j , … , I h j } \{I_1^j,I_2^j,\dots,I_h^j\} { I1j​,I2j​,…,Ihj​}。此外，$W^j=(w_1^j,w_2^j,\dots ,w_l^j)$是一个对应于$S^j$的$l$维向量，其中$l$是实例级别标签的数量。例如，当$S^j$中包含至少一个实例被指定为第$l$个标签时，$w_l^j=1$，否则$w_l^j=0$。形式上，令$S$和$W$分别表示实例和标签的集合。MIML的目标是为每一个测试样本$S^j$输出一个预测的标签向量，即建立函数 f MIML : 2 S → 2 W , f MIML ∈ { 0 , 1 } l f_\text{MIML}:2^S\to2^W,f_\text{MIML}\in\{0,1\}^l fMIML​:2S→2W,fMIML​∈{ 0,1}l。

4.2 信号模型

假设电子环境中有几个独立的发射器，所有的发射器将在相似的载波频率下传输信号。因此，被动侦察系统截获的信号可能在时域和频域上重叠。考虑到截获的重叠信号受到加性高斯白噪声 (Additive white Gaussian noise, AWGN) 的干扰，重叠信号的接受复包络的一般表达为：
$$\begin{array}{rl}{y}_{\text{overlaping}}& =\sum _{i=1}^K{S}_i(nT)+\omega (nT)\\ & =\sum _{i=1}^K{h}_i{A}_i{e}^{j(2\pi \Delta f_i(nT)+{\varphi }_i+{\theta }_i)}+\omega (nT),\end{array}\text{\hspace{1em}(1)}$$其中$T$表示采样间隔、$S_i(nT)$是来自第$i$个发射器的离散时间复信号，以及$\omega (nT)$是复AWGN。此外，$h_i$表示来自第$i$个发射机的信道系数、$A_i$是非零常数信号包络、$\Delta f_i(nT)$表示载波频率，${\varphi }_i$和${\theta }_i$则分别表示第$i$个发射器和接受天线之间的相位抖动和相位偏移。表1展示了本文的常用符号。

重叠信号的AWR中，信噪比 (Signal-to-noise ratio, SNR) 是应当首先被考虑的元素，截获的重叠信号的复合SNR记为：
$$\text{SNR[dB]}=10{\log }_{10}\frac{{\sum }_{i=1}^K|h_i{A}_i{|}^2}{{\delta }^2}.\text{\hspace{1em}(2)}$$此外，功率比 (Power ratio) 也在一定程度上影响识别性能，这是因为信号衰落和功率差异，不同发射器的接收功率可能不相同。然而，本文的主要目的是验证基于GAN的半监督MIML算法的有效性，因此方便起见，我们假设所有的分量信号有相同的振幅，即$A_i=1$。

在复杂的电磁环境中，每个发射器以相互独立的方式发射信号，因此，由来自每个发射源的信号组成的新重叠信号的模式是随机的。在这种情况下，重新信号的组合数量指数于标签的数量：
$$N_{\text{overlapping}}=\sum _{q=1}^K{C}_K^q,\text{\hspace{1em}(3)}$$其中$C_K^q$表示$K$中的$q$个组合，以及$q$表示分量信号类型的数量。

5 方法

本节提供MIML-GAN的复合模块的细节描述，其主要分为三个部分：1) 时频处理；2）MIML-GAN结构；以及3) 自适应阈值校准模块。图1展示了MIML-GAN的完整框架。

5.1 时频分析

由于对噪声有良好的健壮性，Winger-Ville分布 (WVD) 被广泛用于生成TFI，其适用于低SNR传输的截获信号。然而，WVD是以牺牲交叉效应为前提实现了其最佳分辨率。这可能无法发现一些重要特征，从而促使交叉项抑制方法的出现，如平滑伪Winger-Ville分布 (SPWVD)。SPWVD是针对WVD的缺陷而设计的，其通过在Cohen的时频分布一般方程中选择核函数来实现。SPWVD变化可以表示为：
$$SPWV{D}_x(t,f)={\int }_{-\infty }^{+infty}h(\tau )d\tau {\int }_{-\infty }^{+\infty }g(s-t)\cdot x(s+\frac{\tau }{2})x^{\ast }(s-\frac{\tau }{2})e^{j2\pi f\tau }ds,\text{\hspace{1em}(4)}$$其中$g(s-t)$和$h(\tau )$是分别是时域和频域的窗口函数。生成的TFI图像讲被重设为$224\times 224\times 3$，以此作为下游框架的输入。

5.2 MIML-GAN

GAN是一个著名的深度生成模型，其包含两个对抗部分，生成器和鉴别器。整个模型通过零和博弈训练，以达到两个对抗部分的动态平衡。所提出的MIML-GAN沿用这一机制，且以半监督的方式来解决AWR问题，即生成器生成假样本，而鉴别器扮演分类器的角色，其需要确定真样本的类别，亦需要区别假样本。具体地，原始的真实样本被分为两个部分，有标记和无标记集。随后，有标记集用于有监督分类，余下则用于无监督对抗学习。

MIML-GAN生成器的结构如图2，其基本上是一个逆卷积神经网络。网络的输入是一个100维的随机向量，其后接五个逆卷积层，每层后接一个ReLU函数和一个批量归一化层。最后一层使用的则是Tanh。

鉴别器的输出维度为$(K+1)$，其在MIML的设置下采用多分类器的结构，如图3。鉴别器的前四层为卷积层，每层后接leaky ReLU和批量归一化。随后其被分为两个分支，第一个分支卷积层的核设置为$1\times 1$，其目的是验证样本的真实性，而另一个分支后接MIML结构，以获取包级别预测。特别地，第二个分支的输入是一个3-D张量，其长度表示实例的数量，高和宽则确定特征图的大小。注意之前层实例的数量是相同的，因为它们卷积层的核是相同的。然后使用reshape层来展开每个特征图，再后接稠密层和最大池化层，最终3-D张量将约简为2-D张量，也就是$K$维包级别预测。

在鉴别器的上层分支中，可以找到$\omega \times K$发二维实例级预测，其中$\omega$表示输入包中实例的数量，以及$K$表示标签的总数。注意一个逐行最大池化层被使用，用于将2-D的$\omega \times K$实例级别预测转换为1-D $K$维包级别预测。在此，卷积核的移动隐含地用于转换一个包内的实例。通过对包中每个标签的每个实例的预测，最终可以用每个类的实例级预测的最大值来获取包级别预测，即波形分类。

波形分类和真实性的串联构成了鉴别器的最终输出，因此输出是$K+1$维。需要注意的是，为了实现来自$K$维预测向量的多个波形的识别，鉴别器的输出层被每个维度的Sigmoid替换，这便退化成了标准的多标签分类。

5.3 自适应阈值校准模块

阈值比较是预测标准的重要部分。为了获取更高的性能，一个合适的预测需要被设置。在没有任何先验信息的情况下，阈值通常设置为0.5，但当应用于一个特定场景时，阈值应当适当变化。在本文中，有限离散值将作为阈值的候选者，并利用F-measure来平衡精度与召回率。通过指定最大F-measure，相应的优化阈值记为：
$$\mathbf{\sigma }=\mathrm{argmax}\frac{2{\sum }_{q=1}^K{\sum }_{j=1}^J{t}_j^q{T}_j^q}{{\sum }_{q=1}^K{\sum }_{j=1}^J{t}_j^q+{\sum }_{q=1}^K{\sum }_{j=1}^J{T}_j^q},\text{\hspace{1em}(5)}$$其中${\mathbf{t}}_j=[t_j^1,t_j^2,\dots ,t_j^K]$和${\mathbf{T}}_j=[T_j^1,T_j^2,\dots ,T_j^K]$分别表示第$j$个包的预测和真实标签向量。

6 MIML对抗目标

本部分分别提出鉴别器和生成器的优化目标，此外将说明MIML-GAN的全局优化。

6.1 鉴别器的目标函数

通过添加一个新类，我们利用鉴别器制定了一个多分类器，其输出$K+1$维向量$s=(s_1,s_2,\dots ,s_{K+1})$，并通过Sigmiod得到类别概率$p=(p_1,p_2,\dots ,p_{K+1})$：
$$p_k=p(x_k)=\frac{1}{1+e^{-s_k}}(k\in 1,2,\dots ,K+1).\text{\hspace{1em}(6)}$$MIML数据是弱监督的，因此可以看作是无监督数据。与半监督GAN类似，无监督数据被用于提升特征表示，因为它们必定至少属于$K$个类别的中一个。因此，对于无监督样本$x$，我们最小化$\log P_D(y=K+1|x)$。因此，鉴别器最终的优化目标将同时探索有监督和无监督信息：
$$\begin{array}{rl}\underset{D}{\max }V(G,D)=& L_{\text{sup}}+L_{\text{unsup}}=L_{\text{MIML}}+L_{\text{fake}}+L_{\text{real}}\\ =& {\mathbb{E}}_{(x,y)\sim p_d(x,y)}CE(y,P_{\theta }(\cdot |x))+{\mathbb{E}}_{x\sim p_g(x)}\log P_{\theta }(y=K+1|x)\\ & +{\mathbb{E}}_{x\sim p_d(x)}\log [1-P_{\theta }(y=K+1|x)],\end{array}\text{\hspace{1em}(7)}$$其中第一项是用于弱监督的MIML损失，后两项则分别对虚假和真实样本的无监督对抗损失。

在计算像素值后，TFI中的信号分量区域通常只占有$10\%\sim 15\%$，这是相对稀疏的。这表明我们希望真实信号的预测概率接近1，其他的则接近0，这与MIML原理是一致的。因此，校准后的MIML损失重定义为：
$$\begin{array}{rl}{L}_{\text{MIML}}^c=& {\lambda }_1\sum _{j=1}^J\sum _{i=1}^l\left[w_i^j\frac{1}{h}\sum _{k=1}^h\log P_{\theta }(i|I_k^j)\right]\\ -& {\lambda }_2\sum _{j=1}^J\sum _{k=1}^h\Vert P_{\theta }(\cdot |I_k^j){\Vert }_1-\frac{{\lambda }_3}{2}\Vert \theta {\Vert }_2^2,\end{array}\text{\hspace{1em}(8)}$$其中$P_{\theta }(i|I_k^j)$表示鉴别器在第$j$中包中的第$k$个实例$I_k^j$上的输出、$w_i^j$是真实标签的第$i$个元素、$\theta$表示鉴别器的参数、${\lambda }_1$是监督学习的权重因子、${\lambda }_2$表示预测的稀疏因子，以及${\lambda }_3$用于控制模型的复杂度。所有的超参数都通过交叉验证确定。

鉴别器的目标是将真实和虚假数据分类到它们对应的类别中，并最小化无标记真实数据被判断为虚假类的概率。

引理1：公式8中第一项的最大化可以提高多标签监督的包级交叉熵。

证明：由于每个包的独立性，我们针对于每个包来说明该结果。令${\lambda }_1=1$，且$P^j(\omega )=\mathbf{Cat}({\omega }_i^j/|{\omega }^j|)$是一个分类分布，在不失一般性的情况下，根据Jensen不等式，我们有：
$$\begin{array}{rl}& \sum _{i=1}^l\left[w_i^j\frac{1}{h}\sum _{k=1}^h\log P_{\theta }\left(i\mid I_k^j\right)\right]\\ & ⩽\sum _{i=1}^l{w}_i^j\log \left[\frac{1}{h}\sum _{k=1}^h{P}_{\theta }\left(i\mid I_k^j\right)\right]\\ & =-\left|w^j\right|\left[H\left(P^j(w)\right)+KL\left(P^j(w)\Vert {\bar{P}}_{\theta }^j(y)\right)\right],\end{array}\text{\hspace{1em}(9)}$$其中${\bar{P}}_{\theta }^j(y)=\frac{1}{h}{\sum }_{k=1}^h{P}_{\theta }\left(y\mid I_k^j\right)$。

注解1：对于引理1，我们确定包级别的监督信息在最大化公式8中的第一项时会很有效，因为$KL\left(P^j(w)\Vert {\bar{P}}_{\theta }^j(y)\right)$将被最小化。此外，$P_{\theta }(\cdot |x)$的输出的前$K$个元素是相互独立的。基于这个独立性，我们能够将公式7的最后两项解耦，并在随后给出只考虑这两项时的优化。

定理1：最优鉴别器输出的第$K+1$个元素为：
$$P_{\theta }(y=K+1|x)=\frac{p_g(x)}{{\sum }_{j=1}^J{p}_d^j(x)+p_g(x)}.\text{\hspace{1em}(10)}$$公式10表示将样本$x$分类为虚假实例的置信度取决于习得的密度$p_g$和$p_d^j,j=1,2,\dots ,J$。

证明：因为独立性，$P_{\theta }(y=K+1|x)$仅仅与公式7的后两项有关。因此，我们在
$$\begin{array}{rl}g(\theta )=& {\mathbb{E}}_{x\sim p_g(x)}\log P_{\theta }(y=K+1\mid x)\\ & +{\mathbb{E}}_{x\sim p_d(x)}\log \left[1-P_{\theta }(y=K+1\mid x)\right],\end{array}\text{\hspace{1em}(11)}$$上执行最大化，则能通过设置${\nabla }_{P_{\theta }}g(\theta )=0$来得到公式10。

6.2 生成器的优化目标

在训练生成器时，需要解决关于$p_g$的下列优化问题：
$$\underset{G}{\min }V(G,D^{\ast })=\underset{p_g}{\min }{\mathbb{E}}_{x\sim p_g(x)}\log P_{{\theta }^{\ast }}(y=K+1|x),\text{\hspace{1em}(12)}$$其中${\theta }^{\ast }$是最优鉴别器$D^{\ast }$的参数。

然而，一个训练很好的生成器将导致监督信息的低效化。此外，过度训练的生成器会导致GAN训练过程的不稳定。为了缓解这一困难，我们使用特征匹配 (Feature matching, FM) 来提升稳定性。该技术旨在通过将生成样本特征的期望值与鉴别器中间层上的真实特征进行匹配来改进生成器，而不是直接匹配鉴别器的输出。因此，生成器的FM目标可以通过计算鉴别器特征的$L^2$损失来推断：
$$LG=\Vert {\mathbb{E}}_{x\sim p_{d}f(x)}-{\mathbb{E}}_{x\sim p_g}f(G(x)){\Vert }_2^2,\text{\hspace{1em}(13)}$$其中$f(x)$表示鉴别器中间层的激活。最终，结合FM的MIML-GAN的生成器的优化目标为：
$$\begin{array}{rl}\underset{G}{\min }V(G)=& \underset{p_g}{\min }{\mathbb{E}}_{x\sim p_g(x)}\left[\log P_{\theta }(y=K+1\mid x)\right]\\ & +{\Vert {\mathbb{E}}_{x\sim p_d(x)}{f}_{\theta }(x)-{\mathbb{E}}_{x\sim p_g(x)}{f}_{\theta }(G(x))\Vert }_2^2.\end{array}\text{\hspace{1em}(14)}$$

6.3 MIML-GAN算法

本部分提出MIML-GAN算法。需要注意的是算法对潜在的识别领域是不可知的，因此它可以被用于任何的MIML问题。

7 实验设计

本节首先介绍重叠信号数据集和性能指标。然后展示用于对我们的数据集进行比较分析的基线方法，旨在突出所提出框架的性能。最后说明实验设置。

7.1 数据集描述和评估指标

所使用的重叠信号数据集包含四种类型的低概率拦截雷达信号 (LPI radar signal)，分别为线性调频 (LFM)、Barker编码、Costas编码，以及Frank编码。重叠信号的模式通过随机组合获得。

实验中分别生成了100个单信号和重叠信号样本，其中单调制信号用于训练，重叠信号用于测试。这样做的原因是能够从单个调制信号中捕获重叠信号的特征表示，可以确保所提出模型的泛化性。然后，为了构建半监督场景，我们分别根据20%、40%、60%，以及80%的标签率来将训练集划分为有标记集和无标记集。当标签率达到100%时，它退化为传统的监督学习。生成信号的信噪比范围为-12dB到10dB，变化步长为4dB。随后通过SPWVD分布转换为TFI。测试集被随机划分为两个部分，即分出20%做验证集。验证集的目的是捕捉自适应阈值校准模块的合适阈值。评估指标使用总体标签匹配度 (Overall label matching rate, labelacc)：
$$\begin{array}{rl}& \text{ labelacc }=\frac{1}{n}\sum _{i=1}^n[[Y_i=y_i]]\\ & \text{ where }[[Y_i=y_i]]=\{\begin{array}{l}1,\text{ if }{Y}_i=y_i,\\ 0,\text{ otherwise }\end{array}\end{array}\text{\hspace{1em}(15)}$$

7.2 基础方法

为了展示MIML-GAN的优势，用于处理SSL问题的几个重要算法将被使用。此外，一些优秀的监督算法也会被使用。

1. GAN-MCL：处理SSL问题的主流算法之一，亦是当前大多数一GAN为基本结构的半监督信号识别网络的模板原型。MCL用于处理多语意信息问题，其附加类被编码为新类。辨别器的输出层需要额外判断真实和虚假图像，故需要追加一个有${\sum }_{q=2}^K{C}_K^q$个节点的稠密层，其后接Softmax激活函数，输出节点对应于候选类别的数量。
2. GAN-MLL：使用MLL来促进多语意分类。特别地，其用Sigmoid代替Softmax来映射每个标签，用二元交叉熵作为损失函数。
3. Ladder Network：主流的半监督方法，同时最小化监督和无监督的损失函数总和，利用降噪自编码器和跳跃连接来提升鲁棒性。输出层被替换为Sigmoid函数，以适应于多标签问题。
4. MIML-DCNN：首个利用MIML处理监督重叠信号识别的方法，其主要利用VCG16作为基础结构。

7.3 实验设置

1. DL的实现平台为Tensorflow，RTX 2080TI GPU用于加速网络训练；
2. 优化器选用ADAM，批次大小设置为$16$；
3. 学习率设置为$2\times 10^{-4}$，每$50$个epoch衰减$20\%$；
4. 超参数通过交叉验证确定；
5. 实例数量$\omega =200$；
6. MIML分类损失中的权重${\lambda }_2=5\times 10^{-6}$，${\lambda }_3=1\times 10^{-5}$；
7. 训练epoch$=400$；
8. GAN-MCL和GAN-MLL的学习率分别设置为$1\times 10^{-4}$和$2\times 10^{-10}$；
9. MIML-DCNN参数依据原文，ladder network的学习率为$0.02$，Gaussian corruption噪声设置为$0.3$；
10. 每一层的降噪代价设置为$100-10-0.1-0.1-0.1-0.1-0.1$。

8 性能和分析

本节将构建一系列的实验来验证半监督方法MIML-GAN的性能。首先，信号的重叠模式将被研究。然后，算法的特征表征能力将被探讨。其次，不同超参数对算法训练性能的影响将被分析。最后，不同阈值策略下的识别结果将被展示。

8.1 不同标签率下时域和时频域重叠信号相关实验

首先单调制信号训练集被划分为有标记样本和无标记样本，比例从80%以20%的步长变化到20%。然后，监督方法MIML-DCNN将在不同的SNR下与我们的方法MIML-GAN比较。两个方法的识别准确率分别表示为监督识别性能 (Supervised recognition performance, SRP) 和半监督识别性能 (Semi-supervised recognition performance, SSRP)。表2展示了具体的识别结果。

表中的每一行是在相同标签率下的实验，结果表明MIML-GAN相较于监督算法MIML-DCNN，在时域重叠信号数据集上实现了更好的性能。因此可以说明引入无标记数据后可以提升模型的识别性能。这一发现可以归因于生成对抗训练本质上促进了对TFI固有特征的学习。此外，随着SNR的增加识别性能的提升也更显著，因为信号特征可以轻易地通过对抗学习所掌握，而受噪声影响较大的信号样本提升较小。从列方向自上而下可以发现，随着标签比例的提升，模型可以获取更多的成长。应当注意的是，随着训练样本的减少，两个方法的性能展现了一些不同之处。尽管无标记样本无法直接用于分类，它们可以通过对抗学习加权特征表中的能力。尽管样本数量下降，依然可以获得一个满意的识别结果。

为了进一步研究信号模式的影响，我们在时频域重叠信号数据集上进行了实验。一些典型的重叠信号展示如图4。分量信号通常在相邻甚至相同的频段上相互压倒，导致严重的失真，从而在一定程度上影响识别性能。

时频域分析结果如表3。与表2相比，不同标签率下的识别性能呈现下降趋势。实际上，时频域重叠波形的部分实例是不合理的，因为鉴别器是在单调制下信号下训练，这些实例通常包含复杂的混合波形，很容易被识别为错误类别。此外，0dB到10dB SNR下的准确率降低了约2%-4%，降低的程度则随着SNR的减小而减小。这表明低SNR下噪声更能影响网络的训练。

8.2 不同半监督方法的性能对比

本小节将MIML-GAN和三个SSL方法进行对比，包括GAN-MLL、GAN-MCL，以及ladder network，实验数据集则使用时频域重叠信号。

图5展示了最终的性能对比，其中准确率是5次实验的平均结果。很明显，随着标签的增加，模型的性能变得更好，不过这种变化是很小的。与GAN-MLL和GAN-MCL相比，各SNR下的精度波动比较稳定，这是因为ladder network通过向无标记数据添加扰动噪声并最小化重建误差来学习，这提高了未标记数据的稳定性。因此，该网络对训练数据中的扰动更不敏感，这鼓励决策边界处于低密度区域。

进一步，MIML-GAN在各种处境下均优于其他算法，这归因为：

1. MIML学习整合了细粒度实例级内容和标签信息之间的相关性，从单调制信号样本中提取的特征能能够适应于重叠实例。尽管MCL模型尝试将重叠信号考虑为一个新的候选类，去抽象特征并不适用于重叠信号的；
2. 对于MLL方法，大量的注意力被分配到整体的信号样本上，这导致局部信息捕捉能力的缺失，进而导致无法提供合适的特征。因此，我们可以得出结论，MCL和MLL方法缺乏处理异质数据的能力；
3. Ladder network的核心是一个自编码结构，其将生成一个确切的潜在变量。这些变量将被显式地映射到原始的高维分布中。然而，这无法保证分布在潜在空间中的连续性。相反，GAN使用一个深度神经网络隐式地适配分布，这能够更接近于对抗学习生成数据的流行。这将获得一个训练优秀的GAN，其将具备良好的数据表征能力，能够适应于大量的辨别任务。

8.3 特征表征的质量评估

为了更好地展示MIML-GAN的优势，本小节将评估其特征表针能力，其主干来自于GAN结构的对抗学习过程。在这些实验中，包含了11种信号的时频域重叠信号数据集被使用，其标签率和SNR分别被设置为$20\%$和$6$dB。t-SNE用于可视化测试集的2-D嵌入。特别地，这些特征选用的是神经网络的最后一层。图6(b)表明，大多数类已经被分开并组成不同的簇，当然有些簇有不同程度的混合，例如紫色和青色，这似乎很难被一般的聚类算法所分开。图6(a)表明，经过对抗学习后，特征嵌入的混合程度减小。这种现象生动地说明了MIML-GAN能够提升特征的表征能力，这对于下游分类器是相对友好的。

8.4 不同超参数下的性能

本小节探索超参数对最终识别精度的影响。本文的主要参数是监督学习系数${\lambda }_1$，其用于权衡监督学习和无监督学习对MIML-GAN的影响。特别地，该参数分别被设置为$0.1$、$1$，以及$10$，标签率和训练epoch则分别被固定为$80\%$和$500$。

图7提供了不同SNR下的准确率，不同的颜色对应于不同的${\lambda }_1$。结果表明${\lambda }_1=10$时模型的labelacc最好，而随着$lambd{a}_1$降低，例如${\lambda }_1=1$时，算法将同等考虑监督学习和无监督学习。此时算法的性能受到了一定程度的影响。当${\lambda }_1=0.1$时，无监督学习成为了训练中的主要考虑对象，性能曲线显著下降。实验表明监督损失$L_{\text{MIML}}$在最终的识别结果中扮演着重要的角色。这也可以推知，网络对于${\lambda }_1$是很敏感的，一个较小的${\lambda }_1$将难以满足监督分类的需求。相应地，${\lambda }_1$不应当太大，否则无监督损失将无法为网络训练提供合适的特征表征。因此，在其他实验中，我们将${\lambda }_1$设置为10。

8.5 生成样本的质量评估

已有研究表明，在半监督场景下，鉴别器和生成器无法达到自己的最优状态。本文主要关于鉴别器的识别能力，但也需要让生成器成为一个合格的竞争者，这对于对抗训练是有利的。为了研究这个问题，我们从生成器中获取了一些生成样本。实验在$10$dB以及$60\%$标签率下进行，每一种调制有200TFI。图8展示了一些可视化样本，每一列的样本是在相同的epoch下获取的。结果表明，随着训练epoch的增加，图像的清晰度和锐度相应增加。这说明了在一个有力的生成器的作用下，MIML-GAN可以训练一个良好的鉴别器，以及在当前的实验设置下，对抗学习机制可以正常进行。

由于本文实际的训练epoch设置为$400$，超参数${\lambda }_1$也被固定，我们将进一步验证鉴别器的训练性能。图9展示了鉴别器的损失函数曲线，其表明损失在起始时很大，随后大幅下降。在$300$epoch后，算法收敛且基本在$0-0.2$之间波动。结果验证了所提出的目标函数的合理性，亦说明网络训练后能实现稳定的收敛。

8.6 计算复杂度分析

通过之前的实验，MIML-GAN的最优超参数被选定，且此时具备足够的特征表征能力。接下来我们讨论计算复杂度，因为这直接影响算法再电子环境种的部署。实验指标选用每秒浮点计算 (Floating-point operations per second, FLOP) 和参数大小 (Parameter size)。例如，卷积层的FLOP定义为$O({\sum }_{l=1}^D{M}_l^2{K}_l^2{C}_{l-1}{C}_l)$，其中$D$是网络的深度、$M$是特征图的长度、$K$是核的大小，以及$C$是通道数。MIML-GAN和MIML-DCNN的复杂度如表4。尽管GAN结构通常很复杂，结果表明我们的算法参数小于MIML-DCNN一个量级。此外，一旦训练完成，测试阶段将只使用鉴别器，这将能满足后继部署的需要。

8.7 不同阈值策略下的性能

阈值策略是多标签领域关于模型性能的重要元素。在这种情况下，为了确定不可见样本的合适的标签集，每个标签上的输出值应根据涉及的阈值函数进行校准。通常来说，阈值策略分为设置常量或者从训练集推导，这对应于本文的常量策略和自适应策略。常量的值通常设置为$0.5$，自适应阈值则从$0.1$开始，以步长$0.05$变化到$0.9$。根据公式12，我们能够根据最大F-measure获取最优阈值，两个策略将结合不同的标签率来验证，结果如图10。

图10中，实现和虚线分别表示自适应和常量策略。结果表明对于具体的某一个策略，不同标签率的影响较小，而自适应策略比常量策略健壮性更好。主要的原因是TFI的属性随着SNR而变化，常量阈值$0.5$并不适合于所有的SNR环境。此外，在SNR=$-12$dB时，两个策略的差距很小，因为信号几乎被噪声完全污染，则导致TFI的质量不佳。

9 结论

本文针对脉冲内重叠信号波形识别问题提出了一种新的SSL算法MIML-GAN。所提出的模型使用GAN 结构的对抗学习来有效地提高特征表征能力。在所提出的算法中，首先将信号样本转换为TFI作为训练样本，然后将GAN结合MIML原理建立对抗性学习结构，通过该结构生成器和鉴别器分别提高其特征表示和分类能力。

所提出的方法优于现有的 AWR 方法，这可以归因于以下三个方面：

1. 对该方法的可行性进行了理论研究，这表明MIML-GAN为有效的MIML学习提供了保证；
2. MIML-GAN 获得了具有单一调制信号的完整概率分类器，这得益于MIML学习过程；
3. 该方法实现了更高的识别精度，并且在小规模上表现特别好数据集；
4. 对时域和时频域重叠数据集进行了大量实验，以验证所提出方法的性能。从仿真结果来看，MIMLGAN在处理异构数据时比主流SSL方法表现更好，并且与最先进的SSL相比，具有很高的竞争力。从实证研究中可以得出结论，GAN结构的引入通过使用弱监督数据来解决重叠信号波形识别问题，获取了一个更通用的模型。

在未来的工作中，将继续开发一种用于重叠信号的多功能信号处理神经网络，它同时考虑了调制识别和参数估计。此外，将以更明确的方式分析基于MIML学习的重叠信号的弱监督学习。此外，还将研究用原始GAN的其他常用变体，例如WGAN和f-GAN，以替换MIML-GAN中的原始GAN。此外，还可以将MIML-GAN扩展到更多的信号处理场景，以验证算法的可扩展性，如发射器识别、脉冲间调制识别等。