TensorFlow学习笔记（一）：TensorFlow设计模型的思想

TensorFlow的编写步骤：

1. 创建模型所需的变量
2. 定义损失函数及求解损失函数的优化方法
3. 初始化所有的变量
4. 迭代训练模型
5. 最后评估模型

步骤1

1）可以用占位符创建，比如x = tf.placeholder("float",[None,20])
x变量由占位符创建而成，后面可以向x变量加入任意长度(None)的向量，其中每个向量有20个维度。
2）可以对一些权值参数通过赋初值的方式创建
比如：W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
创建一个W，W中含有784长的向量，每个向量有10维度

步骤2

1）一般损失函数有交叉熵损失函数、均方误差损失函数、对数损失函数、指数损失函数、合页(hinge)损失函数等；
比如：cross_entropy = -tf.reduce_sum(y_*tf.log(y))就是损失函数
2）对于优化求解方法，有梯度下降法、牛顿法、拟牛顿法以及动量法、Adam等等。
比如：train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)就是用梯度下降法对交叉熵损失函数求解。

步骤3

初始化参数，一般用如下代码：

init = tf.initialize_all_variables()
sess.run(init)

步骤4

对于训练模型，可以设置很多种迭代停止的条件，比如：设置迭代的次数、设置满足多少精确度就停止等等，下面的例子，就是设置的迭代次数

步骤5

评估模型的方法和指标有很多种：比如精确率、召回率、F-Score值等等，这个我暂时还没学到，请进一步期待接下来的文章。

下面就是用tensorflow实现的一个最简单的例子

#这里实现的是一个softmax回归的示例
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

mnist = input_data.read_data_sets("MNIST_data", one_hot=True)
sess = tf.Session()

#第一步加载数据定义超参数
x = tf.placeholder("float",[None,784])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))

y = tf.nn.softmax(tf.add(tf.matmul(x,W) , b))
#y 表示经过模型计算出的预测值
#y_ 表示模型本身的标签值
y_ = tf.placeholder("float",[None,10])

#第二步：构建损失函数

#这里使用交叉熵损失函数
cross_entropy = -tf.reduce_sum(y_*tf.log(y))

#第三步：初始化参数
init = tf.initialize_all_variables()
sess.run(init)

#第四步：训练模型
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

#训练1000次
for i in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, {x:batch_xs, y_:batch_ys})

#第五步：评估模型和进行预测
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))