[研究ノート] KNN（最近傍）

概要

1968年に1.1カバーとハートは最初の近傍アルゴリズム提案
1.2分類（分類）アルゴリズム
詰め込まれている1.3入力ベースの学習インスタンス（インスタンスベースの学習）、怠惰な学習（怠惰な学習）ではなく、先に訓練するための良いモデル
裁判官に1.4ために参考例としての未知のクラスの例としては、すべての既知のクラス

アルゴリズム

ステップ：
Kはパラメータ選択
のインスタンスのすべての既知および未知の例から算出される
Kの選択された最近の既知のインスタンス
未知のインスタンスはほとんどのサンプルのK最近傍の大部分として分類に少数によるとは、下位の投票ルール（多数決投票）大部分でありますカテゴリ

距離（ユークリッド距離）

n次元から：

例

import math
def ComputeEuclideanDistance(x1, y1, x2, y2):
    d = math.sqrt(math.pow((x1-x2), 2) + math.pow((y1-y2), 2))
    return d

d_ag = ComputeEuclideanDistance(3, 104, 18, 90)

print('d_ag:', d_ag)

Gをポイントする各点について距離計算

長所と短所

利点：

• 実装がシンプルで、分かりやすく、使いやすいです
• Kの選択は、ノイズロバスト性を失ったデータを備えていてもよいです

短所：

• これは、既知のすべてのインスタンスを格納するために多くのスペースを必要とし
• アルゴリズムの複雑さは（分類されることが知られているインスタンスのすべてのインスタンスを比較する必要性）が高いです
• ときに試料のこのタイプのインスタンスの数が多すぎるので、新しい未知のインスタンスを容易に、支配的なこの試料として分類するようなサンプルが大きすぎる（あまりにも多くの場合）であるクラスとして、そのサンプルの偏り、支配的な、しかし対象試料への実際と未知の木の近くのこの新しいインスタンス
• 上図中の点Yは、赤色系が、クラスに青色起因の大部分に起因するべきです

改善します

距離に応じた重みと共に距離を考慮し、例えば：1 / D（D：距離）

例

sklearn

from sklearn import neighbors
from sklearn import datasets

knn = neighbors.KNeighborsClassifier()

iris = datasets.load_iris()
knn.fit(iris.data, iris.target)

predictedLabel = knn.predict([[0.1, 0.2, 0.3, 0.4]])
print(predictedLabel)

カスタム

import csv
import random
import math
import operator


def loadDataset(filename, split, trainingSet = [], testSet = []):
    with open(filename, 'rt') as csvfile:
        lines = csv.reader(csvfile)
        dataset = list(lines)
        for x in range(len(dataset)-1):
            for y in range(4):
                dataset[x][y] = float(dataset[x][y])	# 将字符型数据转为浮点型
            if random.random() < split:
                trainingSet.append(dataset[x])
            else:
                testSet.append(dataset[x])


def euclideanDistance(instance1, instance2, length):
    distance = 0
    for x in range(length):	# 计算每个维度的和
        distance += pow((instance1[x]-instance2[x]), 2)
    return math.sqrt(distance)	# 测试数据到每一个训练数据的距离


def getNeighbors(trainingSet, testInstance, k):
    distances = []
    length = len(testInstance)-1
    for x in range(len(trainingSet)):
        #testinstance
        dist = euclideanDistance(testInstance, trainingSet[x], length)
        distances.append((trainingSet[x], dist))
        #distances.append(dist)
    distances.sort(key=operator.itemgetter(1))
    neighbors = []
    for x in range(k):	# k个最近的距离
        neighbors.append(distances[x][0])
        return neighbors


def getResponse(neighbors):
    classVotes = {}
    for x in range(len(neighbors)):	# 看邻居的标签，进行投票
        response = neighbors[x][-1]
        if response in classVotes:
            classVotes[response] += 1
        else:
            classVotes[response] = 1
    sortedVotes = sorted(classVotes.items(), key=operator.itemgetter(1), reverse=True)
    return sortedVotes[0][0]	# 票数最多的标签


def getAccuracy(testSet, predictions):
    correct = 0
    for x in range(len(testSet)):
        if testSet[x][-1] == predictions[x]:
            correct += 1
    return (correct/float(len(testSet)))*100.0


def main():
    #prepare data
    trainingSet = []
    testSet = []
    split = 0.67
    loadDataset(r'irisdata.txt', split, trainingSet, testSet)
    print('Train set: ' + repr(len(trainingSet)))
    print('Test set: ' + repr(len(testSet)))
    #generate predictions
    predictions = []
    k = 3
    for x in range(len(testSet)):
        # trainingsettrainingSet[x]
        neighbors = getNeighbors(trainingSet, testSet[x], k)
        result = getResponse(neighbors)
        predictions.append(result)
        print ('>predicted=' + repr(result) + ', actual=' + repr(testSet[x][-1]))
    print ('predictions: ' + repr(predictions))
    accuracy = getAccuracy(testSet, predictions)
    print('Accuracy: ' + repr(accuracy) + '%')

if __name__ == '__main__':
    main()