深度学习入门之第四章神经网络的学习

前言：在第三章的时候，咱们讲了咱们在神经网络之中设置相关的参数，可以使数据通过神经网络前向传播，最后输出一个类别信息。但是我们怎么知道我们输出的类别信息是否正确？或者我和正确的信息差距是多少？以及知道了差距之后我怎么告诉我们的模型调节对应W（权重）和B（偏置）的参数？本章节主要就是讲的就是这三件事。

本章介绍的梯度其本质就是将使用梯度方向进行方向传播调节神经网络中的参数但是现在这种方法计算速度比较慢所以很少有用的所以在本章就关注前两个问题。第三个问题再下一章继续。

对于前两个问题的解决方案是：

均方误差： $E=1/2\sum (Y_{k}-T_{k})^{2}$ 深度学习之中我们一般会使用交叉熵，这个了解一下就可以了

# 当然神经网络的目标是使均方误差最小化 越小表示我预测的精确
import numpy as np
y =[0.1, 0.1, 0.2, 0.3, 0.2, 0.1]
t =[0,   0,    0,   1,   0,   0 ]

def mean_squared_error(y,t):
    return 0.5 * np.sum((y-t)**2)

result = mean_squared_error(np.array(y),np.array(t))
print(result)

# mean_squared_error 的结果是 0.3

交叉熵误差： $E=-\sum_{K}^{N}(T_{k} * logY_{k})$ 公式 1

tf.nn.softmax_cross_entropy_with_logits() 函数讲解使用softmax的进行优化的时候应用于1：n的情况输出的结果只能属于某一属性

tensorflow定义的softmax交叉熵操作是指首先将原始数据经过softmax函数得预测数据logist

然后将预测数据logist 和标签数据按照公式1 求交叉熵误差

验证代码如下：

import numpy as np
import tensorflow as tf

# 直接定义softmax激活函数
def softmax(x):
    c = np.max(x)
    exp = np.exp(x-c)
    sum_exp = np.sum(exp)
    class_y = exp / sum_exp
    return class_y

Raw_data = np.array([1, 1, 6, 2])
label = np.array([0, 0, 1, 0])

my_softmax = softmax(Raw_data)
print("原始数据经过softmax之后输出的结果是：", my_softmax)

# 定义交叉熵函数
def cross_entropy_error(t,y):
    delta = 1e-7
    return -np.sum(t*np.log(y+delta))

# 将得到的softmax和label交叉熵计算 交叉熵之后前者表示对应的标签 后者表示对应的softmax输出的数据
my_cross_entropy_error = cross_entropy_error(label, my_softmax)
print("the result of my_cross_entropy_error difined by myself is: ", my_cross_entropy_error)



Raw_data = tf.convert_to_tensor(Raw_data,dtype=tf.float64)
tf_result = tf.nn.softmax_cross_entropy_with_logits(labels=label,logits=Raw_data)
sess = tf.Session()
print("the result of softmax_cross_entropy_with_logits difined by tensorflow is: ", sess.run(tf_result))

实验结果：从实验结果上可以看出两则之间有些许差距，原因有二。但是理解原理即可不用太较真

第一个是：softmax函数我采用防止出现nan数据的方案

第二个是：防止除数为0 使用了一个delta = 1e-7

'''
原始数据经过softmax之后输出的结果是： [0.00653034 0.00653034 0.96918803 0.0177513 ]
the result of my_cross_entropy_error difined by myself is:  0.03129654045830098
the result of softmax_cross_entropy_with_logits difined by tensorflow is:  0.03129664363744888
'''

tf.nn.sigmoid_cross_entropy_with_logits()函数讲解， 应用于1：n的情况 输出的结果同时可以属于任何一个属性

计算步骤首先是将原始数据经过sigmoid函数

然后将数据经过交叉熵函数（这里面的交叉熵和上面定义的交叉熵不一致）

# 定义tf.nn.sigmoid_cross_entropy_with_logits()
import numpy as np
import tensorflow as tf

# 直接定义sigmoid激活函数
def sigmoid(x):
    return 1/(1 + np.exp(-x))

Raw_data = np.array([1, 1, 6, 2])
label = np.array([0, 0, 1, 0])

my_sigmoid = sigmoid(Raw_data)
print("原始数据经过softmax之后输出的结果是：", my_sigmoid)

# 定义交叉熵函数
def cross_entropy_error(y,t):

    return -y * np.log(t) - (1 - y) * np.log(1 - t)

# 将得到的softmax和label交叉熵计算 交叉熵之后前者表示对应的标签 后者表示对应的softmax输出的数据
my_cross_entropy_error = cross_entropy_error(label, my_sigmoid)
print("the result of my_cross_entropy_error difined by myself is: ", my_cross_entropy_error)

Raw_data = tf.convert_to_tensor(Raw_data,dtype=tf.float64)
label = tf.convert_to_tensor(label,dtype=tf.float64)

tf_result = tf.nn.sigmoid_cross_entropy_with_logits(labels=label,logits=Raw_data)
sess = tf.Session()
print("the result of sigmoid_cross_entropy_with_logits difined by tensorflow is: ", sess.run(tf_result))

实验结果：两则完全一致验证通过

'''
原始数据经过softmax之后输出的结果是： [0.73105858 0.73105858 0.99752738 0.88079708]
the result of my_cross_entropy_error difined by myself is:  [1.31326169 1.31326169 0.00247569 2.12692801]
the result of sigmoid_cross_entropy_with_logits difined by tensorflow is:  [1.31326169 1.31326169 0.00247569 2.12692801]
'''

OK 本章结束。。。。。。。。。。。。。。。。。。。。。。。

深度学习入门之第四章 神经网络的学习

猜你喜欢

深度学习入门之第四章神经网络的学习