TensorFlow 学习（5）拟合

回归问题

分类问题

解决过拟合的方式：

增加数据集

正则化方式：

，w表示权值。使得权值变小，几乎为零，可能减少神经元，减少网络的复杂程度

Dropout：

训练过程中，每次迭代使得部分神经元是工作的，部分神经元是不工作的

测试的时候，可以使用所有的神经元都工作

MNIST数据集分类简单版本（神经网络：一个输入层，两个中间层，一个输出层）使用dropout

#载入数据集
    mnist=input_data.read_data_sets("MNIST_data",one_hot=True) #one_hot:将标签转换为0和1的形式

    #每个批次的大小
    batch_size=75  #神经网络中训练按照批次，并不是一张一张图片训练的，批次大小自定义（按照矩阵的形式放进去）

    #计算一共有多少个批次
    n_batch=mnist.train.num_examples//batch_size

    #定义两个placeholder，784表示：每张图片是28*28=784
    x=tf.placeholder(tf.float32,[None,784])

    #y表示标签，数字是0-9，所以有10列
    y=tf.placeholder(tf.float32,[None,10])
    keep_prob=tf.placeholder(tf.float32)

    #创建一个简单的神经网络
    #W，b都初始化为0
    #W=tf.Variable(tf.zeros([784,10]))#权值。输入层，784个输入值；输出层：10个标签（0-9）
    #b=tf.Variable(tf.zeros([10]))#偏置

    #创建一个四层神经网络
    #W1截断正态分布初始化：tf.truncated_normal，偏置值：stddev=0.1
    #b1初始化为0.1
    W1=tf.Variable(tf.truncated_normal([784,2000],stddev=0.1))
    b1=tf.Variable(tf.zeros([2000])+0.1)
    L1=tf.nn.tanh(tf.matmul(x,W1)+b1)#双曲正切函数作为激活函数
    L1_drop=tf.nn.dropout(L1,keep_prob)#L1表示：L1层的神经元；keep_prob:表示有百分之多少的神经元是工作的

    W2=tf.Variable(tf.truncated_normal([2000,2000],stddev=0.1))
    b2=tf.Variable(tf.zeros([2000])+0.1)
    L2=tf.nn.tanh(tf.matmul(L1_drop,W2)+b2)
    L2_drop=tf.nn.dropout(L2,keep_prob)

    W3=tf.Variable(tf.truncated_normal([2000,1000],stddev=0.1))
    b3=tf.Variable(tf.zeros([1000])+0.1)
    L3=tf.nn.tanh(tf.matmul(L2_drop,W3)+b3)
    L3_drop=tf.nn.dropout(L3,keep_prob)

    W4=tf.Variable(tf.truncated_normal([1000,10],stddev=0.1))
    b4=tf.Variable(tf.zeros([10])+0.1)

    prediction=tf.nn.softmax(tf.matmul(L3_drop,W4)+b4)#tf.matmul(x,W)+b信号的总和，softmax函数将这个信号的总和转变为概率值

    #二次代价函数 求平均值（reduce_mean)
    #loss=tf.reduce_mean(tf.square(prediction-y))

    #交叉熵
    loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))

    #使用梯度下降法，0.2的学习率
    train_step=tf.train.GradientDescentOptimizer(0.65).minimize(loss)

    #变量初始化
    init=tf.global_variables_initializer()


    #结果存放在一个bool型列表中
    #tf.equal(a,b):比较a,b的大小是否一样，一样就返回true，否则返回false
    #tf.argmax(y,1)求y标签中最大的值在哪个位置
    correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))


    #求准确率
    #tf.cast(correct_prediction,tf.float32)格式转换，将bool型转为float，然后在求平均值
    accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))


    with tf.Session() as sess:
                sess.run(init)
                #所有的图片训练21次
                for epoch in range(31):
                         #将所有的图片训练一次
                            for batch in range(n_batch):
                            batch_xs,batch_ys=mnist.train.next_batch(batch_size)#获取每一个批次的100张图片，图片数据保存在batch_xs,图片标签保存在：batch_ys
                            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys,keep_prob:1.0})#keep_drop:1.0 相当于所有的神经元都工作，dropout没有用

                test_acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels,keep_prob:1.0})
                train_acc=sess.run(accuracy,feed_dict={x:mnist.train.images,y:mnist.train.labels,keep_prob:1.0})
                print("Iter "+str(epoch)+",Testing Accuracy " +str(test_acc)+",Training Accuracy " +str(train_acc))