ide ： pycharm
深度学习框架：temsorflow-gpu
时间：20180905
此文章只是针对在实现该书第一章 mnist数据集时，我遇到的问题的总结
1>one_hot =True
one_hot = True 表示的是，其构造的n维数组，其中只有一个元素为1，其余元素全为0 的数组
形如（0，1，0，0，0，0，0，0，0，0）
使用onehot的直接原因是现在多分类cnn网络的输出通常是softmax层，输出是一个概率分布，
从而要求输入的标签也以概率分布的形式出现，进而算交叉熵。
2>交叉熵
http://blog.csdn.net/tsyccnh/article/details/79163834
私以为上述博客中针对交叉熵的概念讲述的较为清楚，我在这里仅作简要的概述，如想详细了解，请登录上述文章
交叉熵，起源于熵的概念，在化学中，熵是用来形容某物质的混乱程度，比如相同数量混乱的人群比排列整齐的人群的熵更大一些。在信息论中，entropy是其最初的名字，在中国的学者，注意到，信息论中，entropy其探究的信息所呈现出概念，同熵这个词所呈现的概念及其相似。
如在上述博客中提到的两个事件
事件A=巴西世界杯夺冠
事件B= 中国队世界杯夺冠
显然，作为五次夺取世界杯冠军的巴西队，事件A实现的概率比事件B成立的概率大的多，那么事件A实现后，我们获得的信息相对而言稍微小一点，那么，信息量应该和事件发生的概率有关。
假设X是一个离散型随机变量，其取值集合为χ,概率分布函数p(x)=Pr(X=x),x∈χp(x)=Pr(X=x),x∈χ,则定义事件X=x0X=x0的信息量为：
I(x0)=−log(p(x0))
而熵呢！其描述的就是，信息量的期望值
H(X)=−∑i=1np(xi)log(p(xi))
讲完熵的概念，轮到相对熵，在机器学习中，我们希望得到的方法，最终呈现的结果是能够尽可能的模拟真实环境，即，y_(预测值)尽可能的与y（真实值相近），那么，在数学中，X的实际分布P，以及我们的模拟分布Q，我们寄希望于两者能够尽可能的相近。
KL散度的计算公式：
n为事件的所有可能性。
DKL的值越小，表示q分布和p分布越接近
交叉熵
相对熵也可以转化成上述的公式，上述公式，第一项就是原物体真实的期望，不变，后者就是交叉熵，只需要计算后者即可
3>tf.函数的记录
tf.cast(x,dtype,name = None)
x为一个tensor，dtype表示类型，
将x的数据格式转化成dtype.例如，原来x的数据格式是bool，
那么将其转化成float以后，就能够将其转化成0和1的序列。反之也可以
tf.argmax(input,axis=None,name = None,dimension = None)
input为一tensor，多数人axis显示的都只是0和1 ，此可以简单的认为，0表示列，1表示行，但axis为2时，下面博客例子比较好
dhttp://www.cnblogs.com/logo-88/p/9295858.html
我认为axis=0，表示的是第一轴比较，1表示的是第二轴的比较
如
[[[1,2,3],
[2,3,4]]
[[3,4,5].
[4,5,6]]]
上述举证，第一轴表示的是，[[1,2,3],[2,3,4]] 和[[3,4,5],[4,5,6]]这矩阵，那么比较的就是[1,2,3]he[3,4,5]对应比较
第二轴表示的是，[[1,2,3]和[2,3,4]]，[[3,4,5]和[4,5,6]]比较
第三周，则分的更细，[1,2,3]内部元素比较，
从上面看，axis关于轴的选定，可以简单的认为是，上诉举证，[]的内部衍生，如第一轴，表示，除去最外面【】
第二轴除去最外面两层【】，当然这除去的步骤是一步一步来，除去第一层，得到[[1,2,3],[2,3,4]] 和[[3,4,5],[4,5,6]]
两个，再分别对待，得到[1,2,3],[2,3,4]，在进行计算。
当不标注axis值时，认为无穷大，直接到最小元素
tf.reduce_？(input_tensor, reduction_indices=None, keep_dims=False, name=None）
1>其中reduction_indices和上面axis一致，表示在哪一维度进行求解
2>keepdims 表示的是否保留其原来的维度，如a =[[1,3,3],[2,2,4]]
tf.reduce_max(a) = [2,3,4]
tf.reduce_max(a,keepdims=True)=[[2,3,4]]
tf.reduce_max求最大
tf.reduce_sum求和
tf.reduce_mean求均值
tf.recude_min求最小
tf.reduce_any逻辑或
tf.reduce_
当然，降维不只有这些函数，大同小异，把握好，axis 和keep_dims这两个参数就能举一反三。