人工智能实战 第三次作业 刘强

项目	内容
这个作业属于哪个课程	人工智能实战2019
这个作业的要求在哪里	作业要求
我在这个课程的目标是	将机器学习理论与实践相结合，获得一定的项目经验，提高编程能力
这个作业在哪个具体方面帮助我实现目标	了解Mini Batch梯度下降方法
我的GitHub链接	https://github.com/QiangLiu404

正文

一、使用minibatch的方式进行梯度下降：

import numpy as np
import matplotlib.pyplot as plt
from pathlib import Path

X = np.load("TemperatureControlXData.dat")
Y = np.load("TemperatureControlXData.dat")
Epoch=100

def function(batch_size):
    que=np.array(range(0,200))
    Loss=np.zeros(Epoch)
    w = np.random.normal()
    b = np.random.normal()
    for i in range(Epoch):
        ind = np.random.choice(que, batch_size)
        x = X[ind]
        y = Y[ind]
        value = w * x + b
        dw = ((value - y) * x / batch_size).sum()
        db = ((value - y) / batch_size).sum()
        w = w - dw
        b = b - db
        loss = ((value - y) * (value - y) / batch_size / 2).sum()
        Loss[i] = loss
    return Loss


plt.figure()
x = np.linspace(0,100,100)
plt.xlabel("Epoach")
plt.ylabel("Loss")

Loss5 = function(5)
Loss10 = function(10)
Loss15 = function(15)

plt.plot(x, Loss5, label="batch_size=5")
plt.plot(x, Loss10, label="batch_size=10")
plt.plot(x, Loss15, label="batch_size=15")
plt.legend(loc='upper right')
plt.show()

二、思考：

1.为什么是椭圆而不是圆？如何把这个图变成一个圆？
损失函数图像的形状取决于样本数据的分布，当w和b的影响程度不同时，损失函数图像就是一个椭圆。w,b的影响程度取决于样本的分布，转换为数学语言就是：当损失函数展开时\(w^2\),\(b^2\)的系数相同，\(wb\)系数为0,图像就是一个圆。
2.为什么中心是个椭圆区域而不是一个点？
本次作业中的损失函数的最小值是一个点，但是在画图时将损失值相接近的区域画为同一种颜色，实际上可以求出一个最优解。