5.1MNIST数据处理

在MNINST数据集中每一张图片都代表了0-9中的一个数字。图片的大小都为28*28.

http://yann.lecun.com/exdb/mnist/

from tensorflow.examples.tutorials.mnist import input_data

# 载入MNIST数据集，如果指定地址下没有已经下载好的数据，tensorflow会自动下载数据
mnist=input_data.read_data_sets('.',one_hot=True)

# 打印 Training data size：55000。
print("Training data size: {}".format(mnist.train.num_examples))

# 打印Validating data size：5000
print('Validating data size: {}'.format(mnist.validation.num_examples))

# 打印Testing data size：10000
print('Testing data size: {}'.format(mnist.test.num_examples))

# 打印Example training data：
print('Example training data: {}'.format(mnist.train.images[0]))

# 打印Example training data label:
print('Example training data label: {}'.format(mnist.train.labels[0]))

batch_size=100
xs,ys=mnist.train.next_batch(batch_size)
# 从train集合中选取batch_size个训练数据
print('X shape: {}'.format(xs.shape)) # 输出：(100,784)
print('Y shape: {}'.format(ys.shape)) # 输出：(100,10)

input_data.read_data_sets生成的类自动把MNIST数据及分成 train validation test三个数据集

input_data.read_data_sets生成的类提供mnist_train.next_batch函数，从所有的训练数据中读取一部分呢座位一个训练batch

5.2神经网络模型训练及不同模型结果的对比

调整神经网络的结果对最终的正确率有非常大的影响

相比与滑动平均动能和指数衰减学习率，使用加入正则化的损失函数给模型效果带来的提升可以相对明显

扫描二维码关注公众号，回复： 2310641 查看本文章

5.3变量管理

Tensorflow中提供了通过变量名称来创建和获取一个变量的机制。通过这个机制，在不同的函数中可以直接通过变量的名字来使用变量，而不需要将变量通过参数的形式到处传递。该机制主要是通过tf.get_variable和tf.variable_scope函数来实现的。下面将分别介绍两个函数的使用。

#下面两个定义是等价的
v = tf.get_variable("v",shape = [1],initializer = tf.constant_intializer(1.0)
v = tf.Vatiable(tf.constant(1.0,shape = [1]),name = "v")

tensorflow提供7种不同的初始化函数

tf.get_variable 函数与 tf.Variable函数最大的区别在于指定变量名称的参数

tf.get_variable 变量名必写

tf.Variable变量名可选的参数 name = "v"

第一层神经网络的权重教weigh

第二层神经网络的权重也为weight时，就会报错

如果需要tf.variable_scope函数来生成一个上下问管理器，并明确指出在这个上下文管理器中，tf,get_varable将直接获取已经生成的变量

　总结：当tf.variable_scope函数设置参数reuse=True时，这个上下文管理器内所有的tf.get_variable函数会直接获取已经创建的变量。如果变量不存在，tf.get_variable将会报错；相反，如果tf.variable_scope函数使用参数reuse=None或reuse=False创建上下文管理器，tf.get_variable将创建新的变量。如果同名的变量已经存在，则tf.get_variable报错。

# 在名字为foo的命名空间内创建名字为v的变量
with tf.variable_scope("foo"):
    v=tf.get_variable('v',[1],initializer=tf.constant_initializer(1.0))

# 因为在命名空间foo中已经存在名字为v的变量，所有下面的代码将会报错：
with tf.variable_scope('foo'):
    v=tf.get_variable('v',[1])

# 在生成上下文管理器时，将参数reuse设置为True。这样tf.get_variable函数将直接获取
# 已经声明的变量
with tf.variable_scope('foo',reuse=True):
    v1=tf.get_variable('v',[1])
    print(v==v1)
    
# 将参数reuse设置为True时，tf.variable_scope将只能获取已经创建过的变量。因为在命名
# 空间bar中还没有创建变量v，所以下面的代码将会报错：
with tf.variable_scope('bar',reuse=True):
    v=tf.get_variable('v',[1])

tf.variable_scope函数生成的上下文管理器会创建一个tensorflow中的命名空间，在命名空间内创建的变量名称都会带上这个命名空间名作为前缀。所以，tf.variable_scope函数除了可以控制tf.get_variable执行的功能之外，这个函数也提供了一个管理变量命名空间的方式。代码如下：

import tensorflow as tf 
v1=tf.get_variable('v',[1])
print(v1.name) # 输出v:0。'v'为变量的名称，':0'表示这个变量是生成变量这个运算的
                # 第一个结果

with tf.variable_scope('foo'):
    v2=tf.get_variable('v',[1])
    print(v2.name) # 输出foo/v:0。在tf.variable_scope中创建变量，变量名称前面会加入
                   # 命名空间的名称，并通过/来分割命名空间的名称和变量的名称

with tf.variable_scope('foo'):
    with tf.variable_scope('bar'):
        v3=tf.get_variable('v',[1])
        print(v3.name) # 输出foo/bar/v:0。命名空间可以嵌套
    
    v4=tf.get_variable('v1',[1]) 
    print(v4.name) # 输出foo/v1:0

# 创建一个名称为空的命令空间，并设置reuse=True
with tf.variable_scope('',reuse=True):
    v5=tf.get_variable('foo/var/v',[1])
    print(v5==v3) # 输出True
    v6=tf.get_variable('foo/v1',[1])
    print(v6==v4) # 输出True

：0表示这个变量是生成变量这个运算的生成结果

reuse = None 和 False时tf.get_variable将创建新的变量，如果已经存在，则报错

reuse = True时生成上下文任务管理时，这个管理器中所有的tf.get_variable函数直接获取已经创建的变量

《Tensorflow实战Google深度学习》第5章 MNIST数字识别问题

5.1MNIST数据处理

5.2神经网络模型训练及不同模型结果的对比

猜你喜欢