Tensorflow MNIST 手写体识别代码注释（2）
上次仔细研究了网络的节点和连接的定义。节点数据类型是
tf.Tensor，用函数
tf.placeholder 生成；连接数据类型是
tf.Variable，直接利用构造函数生成。这里我有个疑问，为什么节点类型不用
Tensor 直接定义，而是用
placeholder 间接生成呢？这个问题做个标记，以后再考虑。
tf.random_normal
代码：
W = tf.Variable(tf.random_normal([784, 10]))
在 Python 命令行下做如下试验：
>>> p = tf.random_normal([784, 10])
>>> x = tf.placeholder(tf.float32, [None, 784])
>>> p
<tf.Tensor 'random_normal_2:0' shape=(784, 10) dtype=float32>
>>> x
<tf.Tensor 'Placeholder_1:0' shape=(?, 784) dtype=float32>
函数 tf.random_normal([784, 10]) 返回 tf.Tensor 类型，这个和网络节点一样，都是张量数据类型。tf.Variable 利用一个张量作为初始化参数。我们看一下 p = tf.random_normal([784, 10]) 的内容：
>>> p
<tf.Tensor 'random_normal_2:0' shape=(784, 10) dtype=float32>
很遗憾， tf.random_normal 只是定义了这个产生随机数的函数，在这里并不会实际计算。为什么这样做呢？我的理解，Tensorflow 计算的定义和执行是分开的，只能借助 Session 执行实际的计算：
>>> sess = tf.Session()
>>> sess.run(p)
array([[-0.31686196, 1.4718755 , 0.39538386, ..., -0.35172328,
-1.1372167 , 1.4963826 ],
[ 1.8683176 , -0.50464696, 0.5987486 , ..., 0.06921218,
1.4666113 , -0.12063375],
[-0.5960838 , 0.67847234, -1.2668965 , ..., -0.5763056 ,
0.083912 , 0.27317154],
...,
[ 0.2990143 , 0.87359935, 0.09930705, ..., -0.6843181 ,
0.6503788 , 0.03628052],
[-1.2101758 , 0.6168854 , -1.0640091 , ..., -0.82683617,
0.37335992, -1.0628037 ],
[ 0.7527495 , -1.7079144 , -0.50450134, ..., 0.43036935,
-0.23441634, 1.2643566 ]], dtype=float32)
tf.random_normal([784, 10]) 返回 784x10 个随机数，其定义如下：
tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
- shape: 输出张量的形状，必选
- mean: 正态分布的均值，默认为0
- stddev: 正态分布的标准差，默认为1.0
- dtype: 输出的类型，默认为tf.float32
- seed: 随机数种子，是一个整数，当设置之后，每次生成的随机数都一样
- name: 操作的名称
现在弄明白了，W = tf.Variable(tf.random_normal([784, 10])) 的作用就是用随机数初始化网络连接权重。如果没猜错的话，这个实验中用到的模型，应该是单层网络，784个输入节点，10个中间节点（10个输出节点）。
tf.zeros
代码：：
b = tf.Variable(tf.zeros([10]))
不废话了，直接试验：
>>> q = tf.zeros([10])
>>> sess.run(q)
array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], dtype=float32)
神经网络模型定义
代码：
pred = tf.nn.softmax(tf.matmul(x, W) + b)
我觉得已经看明白 Tensorflow 的模型定义了，上面给出了模型对应的代数表达式。matmul 定义矩阵乘法，接下来搞明白 softmax 就行了。
看到这里，我十分震惊。这个模型也太简单了，一个单层网络模型，加上 softmax ，测试结果手写体识别率竟然能做到 92% 以上。
tf.nn.softmax
根据前面的定义，tf.matmul(x, W) + b 输出 10 维向量， softmax 的作用是归一化，使得 10 维向量的总和为 1，计算公式如下：
定义损失函数
代码：
cost = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred), reduction_indices=1))
分析到这里，我基本明白 Tensorflow 的套路了。利用 tf 里面的各种函数定义模型的计算公式和损失函数的计算公式。接下来我们只需要分析 tf 到底能提供那些函数就行了。
按照我的理解，损失函数定义成下面这个样子就行了：
cost = tf.sum(tf.abs(pred - y))
这个例子中的损失函数和我想象的差距很大，复杂了很多，接下来分析一下原因。
首先用原版的 cost 迭代 50 次，识别准确率为 0.86。然后改成我写的简化版的 cost，识别准确率只有 0.2。这个结果说明我写的这个 cost 收敛的速度太慢了。
我尝试把学习率提升到 20，我的 cost 准确率提升到 0.92，看样子还不错。换成原版的 cost，把学习率设为 0.5，这时候的准确率提升为 0.92。 由此可见，我的这个版本也还不错。
但是，我还是不理解原版的这个cost，做个记号，专门研究一下。
tf.reduce_mean
tf.reduce_mean()函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的平均值，主要用作降维或者计算tensor（图像）的平均值。
tf.reduce_mean(
input_tensor,
axis=None,
keep_dims=False,
name=None,
reduction_indices=None
)
参数：
- input_tensor： 输入的待降维的tensor
- axis： 指定的轴，如果不指定，则计算所有元素的均值
- keep_dims：是否降维度，默认False。设置为True，输出的结果保持输入tensor的形状，设置为False，输出结果会降低维度
- name： 操作的名称
- reduction_indices：在以前版本中用来指定轴，已弃用
例子1：
import tensorflow as tf
x = [[1,2,3], [4,5,6]]
y = tf.cast(x, tf.float32)
mean_all = tf.reduce_mean(y)
mean_0 = tf.reduce_mean(y, axis=0)
mean_1 = tf.reduce_mean(y, axis=1)
with tf.Session() as sess:
m_a,m_0,m_1 = sess.run([mean_all, mean_0, mean_1])
print(m_a)
print(m_0)
print(m_1)
> 3.5
> [2.5 3.5 4.5]
> [2. 5.]
例子2：
import tensorflow as tf
x = [[1,2,3],
[4,5,6]]
y = tf.cast(x, tf.float32)
mean_all = tf.reduce_mean(y, keep_dims=True)
mean_0 = tf.reduce_mean(y, axis=0, keep_dims=True)
mean_1 = tf.reduce_mean(y, axis=1, keep_dims=True)
with tf.Session() as sess:
m_a,m_0,m_1 = sess.run([mean_all, mean_0, mean_1])
print(m_a)
print(m_0)
print(m_1)
> [[3.5]]
> [[2.5 3.5 4.5]]
> [[2.] [5.]]
如果要设置保持原来的张量的维度，那么keep_dims=True。
类似函数还有:
tf.reduce_sum ：计算tensor指定轴方向上的所有元素的累加和;
tf.reduce_max ： 计算tensor指定轴方向上的各个元素的最大值;
tf.reduce_all ： 计算tensor指定轴方向上的各个元素的逻辑和（and运算）;
tf.reduce_any:：计算tensor指定轴方向上的各个元素的逻辑或（or运算）;
