优化之——正则化

为了避免过拟合问题,常用的方法为正则化,在损失函数中加入刻画模型复杂度的指标.J = J(theta)+a*R(w)
L1正则化：
R(w)=||w||=sum(|w|)
L2正则化：
R(w)=||w||^2 = sum(|w|^2)
思想为通过限制权重大小，使得模型不能任意拟合训练数据中的随机噪音。L1正则化会让参数变得更稀疏，即更多参数为0
L2正则化则不会。L1正则化公式不可导。L2正则化公式可导。因为在优化时需要计算损失函数的偏导数，所以对含有L2正则化的函数优化更加简洁。
L1:
tf.contrib.layers.l1_regularizer
L2:
tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)(w),REGULARIZATION_RATE为正则化项权重，w为计算正则化损失的参数。
使用方法：
regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)
    regularization = regularizer(weights1)+regularizer(weights2)
    loss = cross_entropy_mean + regularization
或者
def get_weight(shape,lambda):
    var = tf.Variable(tf.random_normal(shape),dtype=tf.float32)
    tf.add_to_collection('loss',tf.contrib.layers.l2_regularizer(lambda)(var))
    return var
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
cross_entropy_mean = tf.reduce_mean(cross_entropy)
tf.add_to_collection('loss',cross_entropy_mean)
loss = tf.add_n(tf.get_collection("loss"))