基于Python开发Tensorflow（七）之梯度下降解决线性回归

Operations(操作)

操作类别	操作举例
基本操作	split,rank,reshape,random_shuffle,slice,concat,...
逐元素的数学操作	add,subtract,multiply,div,greater,less,equal,exp,log,...
矩阵操作	eye,matmul,matrix_inverse,matrix_determinant,...
状态型操作	Variable,assign,assign_add,...
神经网络操作	sigmoid,relu,softmax,max_pool,dropout,conv2d,dynamic_rnn,...
保存/还原操作	train.saver.save,train.saver.restore
模型训练操作	train.GradientDescentOptimizer,train.AdamOptimizer,...

一些等价的操作

操作	等价操作
tf.add(a, b)	a+b
tf.subtract(a, b)	a-b
tf.multiply(a, b)	a*b
tf.div(a, b)	a/b
tf.mod(a,b)	a%b
tf.square(a)	a*a

代码讲解

# -*- coding: UTF-8 -*-

"""
梯度下降的优化方法来快速解决线性回归问题
"""
import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf


#构建数据
points_num = 100
vectors = []

#用 Numpy 的正态随机分布函数生成 100 个点
#这些点的 (x, y) 坐标值对应线性方程 y = 0.1 * x + 0.2
#权重 (Weight) 0.1, 偏差 (Bias) 0.2
for i in xrange(points_num):
    x1 = np.random.normal(0.0, 0.66)
    '''
    numpy.random.normal(loc=0.0, scale=1.0, size=None)这函数为高斯分布
    np.random.randn(size)为标准正态分布（μ=0,σ=1）
    loc：float
    此概率分布的均值（对应着整个分布的中心centre）
    scale：float
        此概率分布的标准差（对应于分布的宽度，scale越大越矮胖，scale越小，越瘦高）
    size：int or tuple of ints
        输出的shape，默认为None，只输出一个值,如果是2的话就是两个，0的话输出空数组和数组深度

    '''

    y1 = 0.1 * x1 + 0.2 + np.random.normal(0.0, 0.04)
    vectors.append([x1, y1])

x_data = [v[0] for v in vectors] #真实的点的 x 的坐标
y_data = [v[1] for v in vectors] #真实的点的 y 的坐标

#图像 1： 展示100个随机数据点
plt.plot(x_data, y_data, "*", label="Original data") #红色星形的点
plt.title("Linear Regression using Gradient Descent")
plt.legend()
plt.show()


#构建线性回归模型
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0))  #初始化 Weight，
'''
tf.random_uniform((6, 6), minval=low,maxval=high,dtype=tf.float32)))
返回6*6的矩阵，产生于low和high之间，产生的值是均匀分布的。
'''
b = tf.Variable(tf.zeros([1]))   #初始化 Bias，长度是一个
y = W * x_data + b               #模型计算出来的 y


#定义损失函数 loss function 或 cost function(代价函数)
#对 Tensor 的所有维度计算 ( y - y_data) ^ 2 之和 / N
loss = tf.reduce_mean(tf.square(y-y_data))

#用梯度下降的优化器来优化我们的 loss function
optimizer = tf.train.GradientDescentOptimizer(0.5)  #设置学习率 0.5,,每次
train = optimizer.minimize(loss)
#不断寻找训练出最小损失


# 创建会话
sess = tf.Session()

#初始化数据流图中的所有变量
init = tf.global_variables_initializer()
'''
global_variables_initializer 
返回一个用来初始化 计算图中 所有global variable的 op
sess.run(tf.global_variables_initializer()) 
就是 run了 所有global Variable 的 assign op
'''

sess.run(init)

#训练 20 步
for step in xrange(20):
    # 优化每一步
    sess.run(train)
    '''
    每一次训练的结果都显示出来，神经网络每一次的学习率是0.5
    '''
    #打印出每一步的损失，权重和偏差
    print ("Step=%d, Loss=%f, [Weight=%f Bias=%f]") % (step, sess.run(loss), sess.run(W), sess.run(b))
    
#图像 2 ： 绘制所有的点并且绘制出最佳拟合的直线
plt.plot(x_data, y_data, "r*", label="Original data") #红色星形的点
plt.title("Linear Regression using Gradient Descent")
plt.plot(x_data, sess.run(W) * x_data + sess.run(b), label="Fitted line") #拟合的线
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

#关闭会话
sess.close()

运行效果