Wasserstein GAN（リトルホワイトラーニングGANシリーズ3）

元のリンク：https：//arxiv.org/abs/1701.07875

前書き

コアアイデア：「Wassersteindistance」を導入してGANの最適化の詳細を改善し、GANのトレーニングプロセスを安定させます。方法は非常に簡単です。ディスクリミネーターのシグモイドとジェネレーターとディスクリミネーターのLOSSのログ操作を削除し、更新のたびに更新された値を一定のサイズCに制限し、運動量ベースの最適化を使用しないようにします。アルゴリズム。

直感的に言えば、元のGANがJSDをLOSSとして使用することは不合理です。右の図に示すように、その分布は2つの分布が適合している場合にのみゼロに等しくなり、この点は他の点と連続していません。はい、確率的勾配降下を使用してモデルを最適化することは非常に困難です。この記事の著者は、非線形圧縮を使用して出力結果を01に減らすのと同等のシグモイド層を削除して、出力結果をより連続的にします。ただし、シグモイドを使用しないため、出力値が大きくなると、出力結果の値の範囲が大きく異なります。 LOSSが大きすぎると、ディスクリミネーターはすぐに極値に収束しますが、これは元のデータのジェネレーターのフィッティングに役立ちません。したがって、作成者はモデルパラメーターの更新の上限を提案します。目的は、生成を遅くすることです。ジェネレーターとディスクリミネーターの収束速度により、モデルの崩壊が防止されます。最終的に、著者は、運動量ベースのオプティマイザーを使用しないことも提案しました。モデルの最適化の方向をよりランダムにし、ジェネレーターによって確立されたデータフィッティング分布をより完全にフィッティングできるようにすることを目的としています。元のデータ配布。

LOSS変異の問題

     

上記の式から、JS、KL、シグモイドはすべて分布フィッティングで急激な値を持っていることが直感的にわかります。ほとんどの場合、定数関数は2つの分布の類似性を説明できませんが、Wは急激な値のない損失として線形関数を使用しますの存在と線形性は、最適化中の2つの分布の距離のみを表すことができます。

PS：優れたLOSS関数は、モデルの出力結果のレベルに対応するペナルティ項を返して、モデルに最適化の方向を明確にすることができるはずです。

ただし、元のGANで設計された2つの分布の類似性に関するLOSS関数のフィードバックペナルティ項には、その程度を反映する機能がありません。これがまさにこのため、WassersteinGANの改善によりGANネットワークトレーニングの難しさが大幅に軽減されます。

モデルの確立

元のGANネットワークのアイデアに戻って、ジェネレーターとディスクリミネーターのペアが対立学習のプロセスで相互の進歩を促進できることを願っています。次に、ジェネレーターとディスクリミネーターの強度が同等であることを確認する必要があります。ただし、最適化プロセスでは、ジェネレーターが高速にトレーニングされる場合と、ディスクリミネーターが高速にトレーニングされる場合があります。これにより、ジェネレーターがディスクリミネーターに勝ったり、ディスクリミネーターがジェネレーターに勝ったりして、トレーニングが失敗します。ただし、実際には、明確なラベルが付いた弁別器は、多くの場合、より速く訓練されます。

これに基づいて、この記事では、一定の範囲内で毎回ネットワークの更新の程度を抑制する更新抑制方法を提案します。LOSSの設計を詳細に見てください。

ワッサーシュタイン距離はアースムーバー（EM）距離とも呼ばれます

               

γはPrとPgの結合分布です。式全体でPrとPgの分布の類似性を説明していますが、γの結合分布を解くのは難しいため、著者は式と同等の変換を行います（プロセスは元の論文の付録にあります）。 ）：

ここで、Kはリプシッツ定数です。これは、関数f（x）が次の式のKを満たすことを保証することを意味します。Kはf（x）の最大導関数を表します。

                              

この場合、Wは、PrとPgの分布の差の最大上限であり、Kで除算されます。関数のファミリーwを使用してfを置き換える場合、

この式は、実際にディープラーニングを使用してfwで適切なfを検索し、W（Pg、Pr）を最小にする、つまりPrとPgを組み合わせることができることを意味します。実際には、Kについては解きませんが、0付近の小さな値に置き換えます。最終的なLOSS関数は次のように簡略化されます。

                         

その中で、fwは弁別器D、Prは真の分布、Pgは生成された分布です。

アルゴリズムフロー

上の写真は、最適化におけるWGANのLOSSの優位性を直感的に示しています。

コードと練習

参照リンク（https://github.com/WingsofFAN/PyTorch-GAN/blob/master/implementations/wgan/wgan.py）

import argparse
import os
import numpy as np
import math
import sys

import torchvision.transforms as transforms
from torchvision.utils import save_image

from torch.utils.data import DataLoader
from torchvision import datasets
from torch.autograd import Variable

import torch.nn as nn
import torch.nn.functional as F
import torch

os.makedirs("images", exist_ok=True)

parser = argparse.ArgumentParser()
parser.add_argument("--n_epochs", type=int, default=200, help="number of epochs of training")
parser.add_argument("--batch_size", type=int, default=64, help="size of the batches")
parser.add_argument("--lr", type=float, default=0.00005, help="learning rate")
parser.add_argument("--n_cpu", type=int, default=8, help="number of cpu threads to use during batch generation")
parser.add_argument("--latent_dim", type=int, default=100, help="dimensionality of the latent space")
parser.add_argument("--img_size", type=int, default=28, help="size of each image dimension")
parser.add_argument("--channels", type=int, default=1, help="number of image channels")
parser.add_argument("--n_critic", type=int, default=5, help="number of training steps for discriminator per iter")
parser.add_argument("--clip_value", type=float, default=0.01, help="lower and upper clip value for disc. weights")
parser.add_argument("--sample_interval", type=int, default=400, help="interval betwen image samples")
opt = parser.parse_args()
print(opt)

img_shape = (opt.channels, opt.img_size, opt.img_size)

cuda = True if torch.cuda.is_available() else False


class Generator(nn.Module):
    def __init__(self):
        super(Generator, self).__init__()

        def block(in_feat, out_feat, normalize=True):
            layers = [nn.Linear(in_feat, out_feat)]
            if normalize:
                layers.append(nn.BatchNorm1d(out_feat, 0.8))
                
            layers.append(nn.LeakyReLU(0.2, inplace=True))
            return layers

        self.model = nn.Sequential(
            *block(opt.latent_dim, 128, normalize=False),
            *block(128, 256),
            *block(256, 512),
            *block(512, 1024),
            nn.Linear(1024, int(np.prod(img_shape))),
            nn.Tanh()
        )

    def forward(self, z):
        img = self.model(z)
        img = img.view(img.shape[0], *img_shape)
        return img


class Discriminator(nn.Module):
    def __init__(self):
        super(Discriminator, self).__init__()

        self.model = nn.Sequential(
            nn.Linear(int(np.prod(img_shape)), 512),
            nn.LeakyReLU(0.2, inplace=True),
            nn.Linear(512, 256),
            nn.LeakyReLU(0.2, inplace=True),
            nn.Linear(256, 1),
            #去除掉sigmoid
        )

    def forward(self, img):
        img_flat = img.view(img.shape[0], -1)
        validity = self.model(img_flat)
        return validity


# Initialize generator and discriminator
generator = Generator()
discriminator = Discriminator()

if cuda:
    generator.cuda()
    discriminator.cuda()

# Configure data loader
os.makedirs("../../data/mnist", exist_ok=True)
dataloader = torch.utils.data.DataLoader(
    datasets.MNIST(
        "../../data/mnist",
        train=True,
        download=True,
        transform=transforms.Compose([transforms.ToTensor(), transforms.Normalize([0.5], [0.5])]),
    ),
    batch_size=opt.batch_size,
    shuffle=True,
)

# Optimizers
optimizer_G = torch.optim.RMSprop(generator.parameters(), lr=opt.lr)
optimizer_D = torch.optim.RMSprop(discriminator.parameters(), lr=opt.lr)

Tensor = torch.cuda.FloatTensor if cuda else torch.FloatTensor

# ----------
#  Training
# ----------

batches_done = 0
for epoch in range(opt.n_epochs):

    for i, (imgs, _) in enumerate(dataloader):

        # Configure input
        real_imgs = Variable(imgs.type(Tensor))

        # ---------------------
        #  Train Discriminator
        # ---------------------

        optimizer_D.zero_grad()

        # Sample noise as generator input
        z = Variable(Tensor(np.random.normal(0, 1, (imgs.shape[0], opt.latent_dim))))

        # Generate a batch of images
        fake_imgs = generator(z).detach()
        # Adversarial loss
        loss_D = -torch.mean(discriminator(real_imgs)) + torch.mean(discriminator(fake_imgs))
        # 求fake_imgs和real_imgs的判别loss

        loss_D.backward()
        optimizer_D.step()

        # Clip weights of discriminator
        #抑制判别器的更新程度
        for p in discriminator.parameters():
            p.data.clamp_(-opt.clip_value, opt.clip_value)

        # Train the generator every n_critic iterations
        if i % opt.n_critic == 0:
            #因为对D使用了更新抑制
            #所以原本更新过快的D，反而滞后了
            #所以使用隔几个批次，才训练一次G

            # -----------------
            #  Train Generator
            # -----------------

            optimizer_G.zero_grad()

            # Generate a batch of images
            gen_imgs = generator(z)
            # Adversarial loss
            
            loss_G = -torch.mean(discriminator(gen_imgs))

            loss_G.backward()
            optimizer_G.step()

            print(
                "[Epoch %d/%d] [Batch %d/%d] [D loss: %f] [G loss: %f]"
                % (epoch, opt.n_epochs, batches_done % len(dataloader), len(dataloader), loss_D.item(), loss_G.item())
            )

        if batches_done % opt.sample_interval == 0:
            save_image(gen_imgs.data[:25], "images/%d.png" % batches_done, nrow=5, normalize=True)
        batches_done += 1

ミニストテスト

テストでは、WGANのトレーニングプロセスが実際には非常に遅いことがわかりました。これは、勾配クリッピングを使用することの副作用です。この問題を解決する方法については、次の分解を聞いてみましょう。