简书：黑猿大叔 TensorFlow从0到1 - 5 - TensorFlow轻松搞定线性回归
tf.random_normal()函数
tf.random_normal()函数用于从服从指定正太分布的数值中取出指定个数的值。
tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
shape: 输出张量的形状，必选
mean: 正态分布的均值，默认为0
stddev: 正态分布的标准差，默认为1.0
dtype: 输出的类型，默认为tf.float32
seed: 随机数种子，是一个整数，当设置之后，每次生成的随机数都一样
name: 操作的名称
以下程序定义一个w1变量：
# -*- coding: utf-8 -*-)
import tensorflow as tf
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
# sess.run(tf.initialize_all_variables()) #比较旧一点的初始化变量方法
print w1
print sess.run(w1)
输出：
<tf.Variable 'Variable:0' shape=(2, 3) dtype=float32_ref>
[[-0.81131822 1.48459876 0.06532937]
[-2.4427042 0.0992484 0.59122431]]
变量w1声明之后并没有被赋值，需要在Session中调用run(tf.global_variables_initializer())方法初始化之后才会被具体赋值。
tf中张量与常规向量不同的是执行"print w1"输出的是w1的形状和数据类型等属性信息，获取w1的值需要调用sess.run(w1)方法。
原文：https://blog.csdn.net/dcrmg/article/details/79028043
补充内容：均匀分布
原文：https://blog.csdn.net/hongxue8888/article/details/78217283
tf.truncated_normal
tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
从截断的正态分布中输出随机值。 shape表示生成张量的维度，mean是均值，stddev是标准差。这个函数产生正太分布，均值和标准差自己设定。这是一个截断的产生正太分布的函数，就是说产生正太分布的值如果与均值的差值大于两倍的标准差，那就重新生成。和一般的正太分布的产生随机数据比起来，这个函数产生的随机数与均值的差距不会超过两倍的标准差，但是一般的别的函数是可能的。
生成的值服从具有指定平均值和标准偏差的正态分布，如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。
在正态分布的曲线中，横轴区间（μ-σ，μ+σ）内的面积为68.268949%。
横轴区间（μ-2σ，μ+2σ）内的面积为95.449974%。
横轴区间（μ-3σ，μ+3σ）内的面积为99.730020%。
X落在（μ-3σ，μ+3σ）以外的概率小于千分之三，在实际问题中常认为相应的事件是不会发生的，基本上可以把区间（μ-3σ，μ+3σ）看作是随机变量X实际可能的取值区间，这称之为正态分布的“3σ”原则。
在tf.truncated_normal中如果x的取值在区间（μ-2σ，μ+2σ）之外则重新进行选择。这样保证了生成的值都在均值附近。
原文：https://www.jianshu.com/p/e18fdc7b633a
tensorflow 1.0 学习：参数初始化（initializer)
CNN中最重要的就是参数了，包括W,b。 我们训练CNN的最终目的就是得到最好的参数，使得目标函数取得最小值。参数的初始化也同样重要，因此微调受到很多人的重视，那么tf提供了哪些初始化参数的方法呢，我们能不能自己进行初始化呢？
所有的初始化方法都定义在tensorflow/python/ops/init_ops.py
1、tf.constant_initializer()
也可以简写为tf.Constant()
初始化为常数，这个非常有用，通常偏置项就是用它初始化的。
由它衍生出的两个初始化方法：
a、 tf.zeros_initializer()， 也可以简写为tf.Zeros()
b、tf.ones_initializer(), 也可以简写为tf.Ones()
例：在卷积层中，将偏置项b初始化为0，则有多种写法：
conv1 = tf.layers.conv2d(batch_images,
filters=64,
kernel_size=7,
strides=2,
activation=tf.nn.relu,
kernel_initializer=tf.TruncatedNormal(stddev=0.01)
bias_initializer=tf.Constant(0),
)
或者：
bias_initializer=tf.constant_initializer(0)
或者：
bias_initializer=tf.zeros_initializer()
或者：
bias_initializer=tf.Zeros()
例：如何将W初始化成拉普拉斯算子？
value = [1, 1, 1, 1, -8, 1, 1, 1，1] init = tf.constant_initializer(value) W= tf.get_variable(‘W‘, shape=[3, 3], initializer=init)
2、tf.truncated_normal_initializer()
或者简写为tf.TruncatedNormal()
生成截断正态分布的随机数，这个初始化方法好像在tf中用得比较多。
它有四个参数（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分别用于指定均值、标准差、随机数种子和随机数的数据类型，一般只需要设置stddev这一个参数就可以了。
例：
conv1 = tf.layers.conv2d(batch_images,
filters=64,
kernel_size=7,
strides=2,
activation=tf.nn.relu,
kernel_initializer=tf.TruncatedNormal(stddev=0.01)
bias_initializer=tf.Constant(0),
)
或者：
conv1 = tf.layers.conv2d(batch_images,
filters=64,
kernel_size=7,
strides=2,
activation=tf.nn.relu,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01)
bias_initializer=tf.zero_initializer(),
)
3、tf.random_normal_initializer()
可简写为 tf.RandomNormal()
生成标准正态分布的随机数，参数和truncated_normal_initializer一样。
4、random_uniform_initializer = RandomUniform()
可简写为tf.RandomUniform()
生成均匀分布的随机数，参数有四个（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分别用于指定最小值，最大值，随机数种子和类型。
5、tf.uniform_unit_scaling_initializer()
可简写为tf.UniformUnitScaling()
和均匀分布差不多，只是这个初始化方法不需要指定最小最大值，是通过计算出来的。参数为（factor=1.0, seed=None, dtype=dtypes.float32)
max_val = math.sqrt(3 / input_size) * factor
这里的input_size是指输入数据的维数，假设输入为x, 运算为x * W，则input_size= W.shape[0]
它的分布区间为[ -max_val, max_val]
6、tf.variance_scaling_initializer()
可简写为tf.VarianceScaling()
参数为（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)
scale: 缩放尺度（正浮点数）
mode: "fan_in", "fan_out", "fan_avg"中的一个，用于计算标准差stddev的值。
distribution：分布类型，"normal"或“uniform"中的一个。
当 distribution="normal" 的时候，生成truncated normal distribution（截断正态分布） 的随机数，其中stddev = sqrt(scale / n) ，n的计算与mode参数有关。
如果mode = "fan_in"， n为输入单元的结点数；
如果mode = "fan_out"，n为输出单元的结点数；
如果mode = "fan_avg",n为输入和输出单元结点数的平均值。
当distribution="uniform”的时候 ，生成均匀分布的随机数，假设分布区间为[-limit, limit]，则
limit = sqrt(3 * scale / n)
7、tf.orthogonal_initializer()
简写为tf.Orthogonal()
生成正交矩阵的随机数。
当需要生成的参数是2维时，这个正交矩阵是由均匀分布的随机数矩阵经过SVD分解而来。
8、tf.glorot_uniform_initializer()
也称之为Xavier uniform initializer，由一个均匀分布（uniform distribution)来初始化数据。
假设均匀分布的区间是[-limit, limit],则
limit=sqrt(6 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。
9、glorot_normal_initializer（）
也称之为 Xavier normal initializer. 由一个 truncated normal distribution来初始化数据.
stddev = sqrt(2 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。
原文：http://www.bubuko.com/infodetail-2099623.html
TensorFlow基础2：Session.run()和Tensor.eval()的区别
之前在TensorFlow中运行代码时，在会话中会需要运行节点，会碰到两种方式：Session.run()和Tensor.eval()，刚开始不太懂这两者之间的差异，最后通过查找官方文档和一些资料了解到中间的差别。
1、官方文档的解释
官方文档中显示如下：
图中翻译如下：
第一段：如果t是一个tf.Tensor对象，则tf.Tensor.eval是tf.Session.run的缩写（其中sess是当前的tf.get_default_session。下面的两个代码片段是等价的：
第二段：在第二个示例中，会话充当上下文管理器，其作用是将其安装为with块的生命周期的默认会话。 上下文管理器方法可以为简单用例（比如单元测试）提供更简洁的代码; 如果您的代码处理多个图形和会话，则可以更直接地对Session.run（）进行显式调用。
简单点说就是：你可以使用sess.run()在同一步获取多个tensor中的值，使用Tensor.eval()时只能在同一步当中获取一个tensor值，并且每次使用 eval 和 run时，都会执行整个计算图。
2.Stack Overflow上面的解释
同时我查阅了Stack Overflow上面人们对这个问题的解释：可以贴在下面加深理解。
原问题链接：
http://stackoverflow.com/questions/33610685/in-tensorflow-what-is-the-difference-between-session-run-and-tensor-eval
Question：
TensorFlow has two ways to evaluate part of graph: Session.run on a list of variables and Tensor.eval. Is there a difference between these two?
Answer：
If you have a Tensor t, calling t.eval() is equivalent to calling tf.get_default_session().run(t).
You can make a session the default as follows:
1 t = tf.constant(42.0)
2 sess = tf.Session()
3 with sess.as_default(): # or `with sess:` to close on exit
4 assert sess is tf.get_default_session()
5 assert t.eval() == sess.run(t)
The most important difference is that you can use sess.run() to fetch the values of many tensors in the same step:
1 t = tf.constant(42.0)
2 u = tf.constant(37.0)
3 tu = tf.mul(t, u)
4 ut = tf.mul(u, t)
5 with sess.as_default():
6 tu.eval() # runs one step
7 ut.eval() # runs one step
8 sess.run([tu, ut]) # evaluates both tensors in a single step
Note that each call to eval and run will execute the whole graph from scratch. To cache the result of a computation, assign it to a tf.Variable.
翻译如下:
问题：
tensorflow有两种方式：Session.run和 Tensor.eval，这两者的区别在哪？
答：
如果你有一个Tensor t，在使用t.eval()时，等价于：tf.get_default_session().run(t).
举例：
1 t = tf.constant(42.0)
2 sess = tf.Session()
3 with sess.as_default(): # or `with sess:` to close on exit
4 assert sess is tf.get_default_session()
5 assert t.eval() == sess.run(t)
这其中最主要的区别就在于你可以使用sess.run()在同一步获取多个tensor中的值，
例如：
1 t = tf.constant(42.0)
2 u = tf.constant(37.0)
3 tu = tf.mul(t, u)
4 ut = tf.mul(u, t)
5 with sess.as_default():
6 tu.eval() # runs one step
7 ut.eval() # runs one step
8 sess.run([tu, ut]) # evaluates both tensors in a single step
注意到：每次使用 eval 和 run时，都会执行整个计算图，为了获取计算的结果，将它分配给tf.Variable，然后获取。
原文：https://blog.csdn.net/chengshuhao1991/article/details/78554743
《TensorFlow实战Google深度学习框架》
第三章 TensorFlow入门
P39