前回の本から続けて、このセクションでは、コンピューターが適切な線形方程式を見つける方法、つまり、コンピューターがどのように学習するかを紹介します。
簡単な例を見てみましょう。下の図に示すように、3つの青い点と3つの赤い点があります。これらの点を区別する直線を探してください。コンピューターの場合、特定の位置から線形方程式をランダムに選択する場合があります（下の右の図を参照）。この直線は、サンプル全体を2つの領域（青い領域と赤い領域）に空間的に分割します。この直線の分類効果は比較的低いことがわかります。そのため、この直線を下の図の2つの誤分類された点（青い領域の赤い点と分類結果をより良くするために、赤い領域の青い点）。
以下では、直線を目標点に近づける方法を説明します。下の図に示すように、直線の方程式がであり、図の赤い点が間違った点であり、その座標がであると仮定します
。直線を赤い点に近づけるには、次のようにします。直線方程式の係数を抽出し、オフセット単位1を赤い点の座標に追加して変更し
、それに応じて減算します（下の図を参照）。 ）、得られた値を直線として使用します。方程式の係数で十分です。
だが！このようにして得られた一次方程式は大きくなり、データポイントが多いと分類結果が悪くなる可能性があるため、直線が少し赤い点に移動することを期待します。そこで、学習率の概念が導入されました。上記の分析から、学習率は比較的小さいはずであることがわかります。ここで、学習率が0.1であると仮定すると、0.1にオフセット単位の赤い点の座標値を掛けてから減算します（下の図に示されています）。新しい一次方程式を取得します。この時点で、直線が誤分類の赤い点に近いことに驚かれることでしょう。！！そうです、それはとてもシンプルで魔法のようなものです。
同様に、赤い領域に青い点がある場合は、上記のように直線をこの点に近づけることもできます。ただし、新しい線形方程式のパラメーターを探すときは、減算ではなく加算に注意してください。この方法を覚えておいてください、あなたは将来それを頻繁に使うでしょう！
上記の知識ポイントを要約します（疑似コードを次の図に示します）。n次元データの場合、最初に重みとバイアスがランダムに割り当てられ、次にすべてのポイントの結果が計算されます。誤分類されたポイントに対して、以下の操作を行います。
1. 0と予測されるポイントは、赤い領域に割り当てられている青いポイントです。現在の重みに学習率を掛けたものにポイントの座標を掛けたものを新しい重み値とし、現在のバイアスを学習率に新しいバイアスとして追加します。
2. 1と予測されるポイント、つまり青い領域に割り当てられた赤いポイント。現在の重みから学習率を引いたものにポイントの座標を掛けたものを新しい重み値とし、現在のバイアスから学習率を引いたものを新しいバイアスとします。
以下の練習をしてください。パーセプトロンアルゴリズムを使用して、以下のデータを分類します。
0.78051,-0.063669,1
0.28774,0.29139,1
0.40714,0.17878,1
0.2923,0.4217,1
0.50922,0.35256,1
0.27785,0.10802,1
0.27527,0.33223,1
0.43999,0.31245,1
0.33557,0.42984,1
0.23448,0.24986,1
0.0084492,0.13658,1
0.12419,0.33595,1
0.25644,0.42624,1
0.4591,0.40426,1
0.44547,0.45117,1
0.42218,0.20118,1
0.49563,0.21445,1
0.30848,0.24306,1
0.39707,0.44438,1
0.32945,0.39217,1
0.40739,0.40271,1
0.3106,0.50702,1
0.49638,0.45384,1
0.10073,0.32053,1
0.69907,0.37307,1
0.29767,0.69648,1
0.15099,0.57341,1
0.16427,0.27759,1
0.33259,0.055964,1
0.53741,0.28637,1
0.19503,0.36879,1
0.40278,0.035148,1
0.21296,0.55169,1
0.48447,0.56991,1
0.25476,0.34596,1
0.21726,0.28641,1
0.67078,0.46538,1
0.3815,0.4622,1
0.53838,0.32774,1
0.4849,0.26071,1
0.37095,0.38809,1
0.54527,0.63911,1
0.32149,0.12007,1
0.42216,0.61666,1
0.10194,0.060408,1
0.15254,0.2168,1
0.45558,0.43769,1
0.28488,0.52142,1
0.27633,0.21264,1
0.39748,0.31902,1
0.5533,1,0
0.44274,0.59205,0
0.85176,0.6612,0
0.60436,0.86605,0
0.68243,0.48301,0
1,0.76815,0
0.72989,0.8107,0
0.67377,0.77975,0
0.78761,0.58177,0
0.71442,0.7668,0
0.49379,0.54226,0
0.78974,0.74233,0
0.67905,0.60921,0
0.6642,0.72519,0
0.79396,0.56789,0
0.70758,0.76022,0
0.59421,0.61857,0
0.49364,0.56224,0
0.77707,0.35025,0
0.79785,0.76921,0
0.70876,0.96764,0
0.69176,0.60865,0
0.66408,0.92075,0
0.65973,0.66666,0
0.64574,0.56845,0
0.89639,0.7085,0
0.85476,0.63167,0
0.62091,0.80424,0
0.79057,0.56108,0
0.58935,0.71582,0
0.56846,0.7406,0
0.65912,0.71548,0
0.70938,0.74041,0
0.59154,0.62927,0
0.45829,0.4641,0
0.79982,0.74847,0
0.60974,0.54757,0
0.68127,0.86985,0
0.76694,0.64736,0
0.69048,0.83058,0
0.68122,0.96541,0
0.73229,0.64245,0
0.76145,0.60138,0
0.58985,0.86955,0
0.73145,0.74516,0
0.77029,0.7014,0
0.73156,0.71782,0
0.44556,0.57991,0
0.85275,0.85987,0
0.51912,0.62359,0プログラムコードは次のとおりです。
import numpy as np
# Setting the random seed, feel free to change it and see different solutions.
np.random.seed(42)
def stepFunction(t):
if t >= 0:
return 1
return 0
def prediction(X, W, b):
return stepFunction((np.matmul(X,W)+b)[0])
# TODO: Fill in the code below to implement the perceptron trick.
# The function should receive as inputs the data X, the labels y,
# the weights W (as an array), and the bias b,
# update the weights and bias W, b, according to the perceptron algorithm,
# and return W and b.
def perceptronStep(X, y, W, b, learn_rate = 0.01):
# Fill in code
for i in range(len(X)):
y_hat = prediction(X[i],W,b)
if y[i]-y_hat == 1:
W[0] += X[i][0]*learn_rate
W[1] += X[i][1]*learn_rate
b += learn_rate
elif y[i]-y_hat == -1:
W[0] -= X[i][0]*learn_rate
W[1] -= X[i][1]*learn_rate
b -= learn_rate
return W, b
# This function runs the perceptron algorithm repeatedly on the dataset,
# and returns a few of the boundary lines obtained in the iterations,
# for plotting purposes.
# Feel free to play with the learning rate and the num_epochs,
# and see your results plotted below.
def trainPerceptronAlgorithm(X, y, learn_rate = 0.01, num_epochs = 25):
x_min, x_max = min(X.T[0]), max(X.T[0])
y_min, y_max = min(X.T[1]), max(X.T[1])
W = np.array(np.random.rand(2,1))
b = np.random.rand(1)[0] + x_max
# These are the solution lines that get plotted below.
boundary_lines = []
for i in range(num_epochs):
# In each epoch, we apply the perceptron step.
W, b = perceptronStep(X, y, W, b, learn_rate)
boundary_lines.append((-W[0]/W[1], -b/W[1]))
return boundary_lines実験結果：
緑の破線は毎回更新される一次方程式であり、黒の破線は最終的な一次方程式です。
この記事では主に線形データの分類を紹介しますが、非線形データを分類する方法は？次のセクションでお会いしましょう。