PGD 中 min-max 问题

1. min-max 问题

为解决基于迭代方法生成的对抗样本攻击，Madry等人[2]提出PGD对抗训练方法，并从鲁棒优化的角度研究模型的对抗鲁棒性以及给出对抗鲁棒性的统一观点。对抗样本的攻击防御问题总结如式(2.1)所示：

其中x为原始样本，δ为扰动信息，S为扰动信息的集合，y为原始样本x的正确标签，D是数据(x,y)满足的分布，θ是模型参数,对式(2.1)的优化可分别从攻击者和防御者的角度展开。攻击者希望内部的损失函数最大化，目的是找出有效的对抗样本。防御者希望外部的优化问题最小化,目的是减小对抗样本造成的损失函数升高。基于PGD对抗训练方法所得到的模型能够有效防御多种类型攻击，然而该方法存在严重的缺陷，即生成PGD对抗样本的成本太高。