線形モデル 線形モデル

1. 線形モデル 線形モデル

B ステーション ビデオ チュートリアル ポータル: PyTorch 深層学習の実践 - 線形モデル

1.1 問題の概要

学生が PyTorch チュートリアルに x 時間を費やし、最終試験で y ポイントを獲得したとします。では、4時間勉強した場合、私の成績は何点になるでしょうか?

教師あり学習：機械学習の2つの手法、教師あり学習と教師なし学習を参照できます（共通理解）

1.2 モデルの選択

パラメータ w は重みであり、ランダムな値です。w が異なると結果も異なります。以下に示すように:

1.3 損失損失

W を0、1、2、... から取得してLossの変化を観察すると、次のようになります。

その結果、Loss (w=2)両方とも 0、つまり損失がなく、これが最も理想的な状態であることがわかりました (実際の状況では、この状態が達成されないことがよくあります)。

1.4 平均二乗誤差 MSE

私たちは、Loss (損失値) の代わりに MSE (平均二乗誤差) を使用することに慣れています。これは、より直観的に表現できるためです。

MSE :機械学習における予測評価指標 MSE、RMSE、MAE、MAPE、SMAPE

1.5 コード

import numpy as np
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]


def forward(x):
    return x * w


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


w_list = []
mse_list = []
for w in np.arange(0.0, 4.1, 0.1):
    print("w=", round(w, 2))
    l_sum = 0
    for x_val, y_val in zip(x_data, y_data):
        y_pred_val = forward(x_val)
        loss_val = loss(x_val, y_val)
        l_sum += loss_val
        print('\t', round(x_val, 2), round(y_val, 2), round(y_pred_val, 2), round(loss_val, 2))
    print('MSE=', l_sum / 3)
    w_list.append(w)
    mse_list.append(l_sum / 3)

plt.plot(w_list, mse_list)
plt.ylabel('MSE')
plt.xlabel('W')
plt.show()

w= 0.0
	 1.0 2.0 0.0 4.0
	 2.0 4.0 0.0 16.0
	 3.0 6.0 0.0 36.0
MSE= 18.666666666666668
w= 0.1
	 1.0 2.0 0.1 3.61
	 2.0 4.0 0.2 14.44
	 3.0 6.0 0.3 32.49
MSE= 16.846666666666668
w= 0.2
	 1.0 2.0 0.2 3.24
	 2.0 4.0 0.4 12.96
	 3.0 6.0 0.6 29.16
MSE= 15.120000000000003
...

1.6 モデルの置き換え

最初は、$y=バツ\ast w$ 、切片 b を追加したい場合:$y=バツ\ast w+b$、結果はどうなるでしょうか？

• 3 次元グラフィックスの描画: https://matplotlib.org/stable/tutorials/toolkits/mplot3d.html

• np.meshgrid()ベクトル化された計算: https://numpy.org/doc/stable/reference/generated/numpy.meshgrid.html#numpy.meshgrid

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]


def forward(x):
    return x * w + b


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


mse_list = []
W = np.arange(0.0, 4.1, 0.1)
B = np.arange(-2.0, 2.1, 0.1)
[w, b] = np.meshgrid(W, B)

l_sum = 0
for x_val, y_val in zip(x_data, y_data):
    y_pred_val = forward(x_val)
    print(y_pred_val)
    loss_val = loss(x_val, y_val)
    l_sum += loss_val

fig = plt.figure()
ax = Axes3D(fig)

ax.set_xlabel("w")
ax.set_ylabel("b")
ax.text(0.2, 2, 43, "Cost Value")

surf = ax.plot_surface(w, b, l_sum / 3, cmap=plt.get_cmap('rainbow'))
fig.colorbar(surf, shrink=0.5, aspect=5)
plt.show()

[[-2.  -1.9 -1.8 ...  1.8  1.9  2. ]
 [-1.9 -1.8 -1.7 ...  1.9  2.   2.1]
 [-1.8 -1.7 -1.6 ...  2.   2.1  2.2]
 ...
 [ 1.8  1.9  2.  ...  5.6  5.7  5.8]
 [ 1.9  2.   2.1 ...  5.7  5.8  5.9]
 [ 2.   2.1  2.2 ...  5.8  5.9  6. ]]
[[-2.  -1.8 -1.6 ...  5.6  5.8  6. ]
 [-1.9 -1.7 -1.5 ...  5.7  5.9  6.1]
 [-1.8 -1.6 -1.4 ...  5.8  6.   6.2]
 ...
 [ 1.8  2.   2.2 ...  9.4  9.6  9.8]
 [ 1.9  2.1  2.3 ...  9.5  9.7  9.9]
 [ 2.   2.2  2.4 ...  9.6  9.8 10. ]]
[[-2.  -1.7 -1.4 ...  9.4  9.7 10. ]
 [-1.9 -1.6 -1.3 ...  9.5  9.8 10.1]
 [-1.8 -1.5 -1.2 ...  9.6  9.9 10.2]
 ...
 [ 1.8  2.1  2.4 ... 13.2 13.5 13.8]
 [ 1.9  2.2  2.5 ... 13.3 13.6 13.9]
 [ 2.   2.3  2.6 ... 13.4 13.7 14. ]]