WGAN一些需要注意的细节

     1. WGAN是非凸优化，只能通过迭代的方式进行求解，无法一步找到最优值。
     2. WGAN无法使用拉格朗日进行求解，因为拉格朗日的条件是以不等式的形式表示的，但是WGAN则是对某个函数做约束(\(1-Lipschitz\)条件)。
     3. 由于\(||f(x_1)-f(x_2)|| \leq K||x_1-x_2||\)，
      \(\therefore\) \(\frac{||f(x_1)-f(x_2)||}{||x_1-x_2||} \leq K\)
     这其实就是要求\(f(x)\)的导数要小于\(K\)，所以在初始的WGAN中采用了weight clipping方法，因为在做Gradient Descent的更新的时候，权重\(W\)的范围是不可控的。
     4. 但是需要注意的是在做weight clipping方法的时候只能保证函数是一个满足K - Lipschitz条件的函数，虽然最后只满足K - Lipschitz条件，但是论文后面也提到说距离前面乘以\(K\)即可，也就是成正比的。