Erster Teil: Einführung und Hintergrund
1. Hintergrundeinführung
Das Traveling Salesman Problem (TSP) ist ein klassisches Problem der kombinatorischen Optimierung. Einfach ausgedrückt besteht das TSP-Problem darin, zu lösen, wie ein Handlungsreisender von einer Stadt aus startet, alle anderen Städte durchquert, jede Stadt nur einmal besucht und dann in die Ausgangsstadt zurückkehrt, sodass die zurückgelegte Gesamtstrecke am kürzesten ist.
Obwohl es viele traditionelle Algorithmen gibt, die das TSP-Problem lösen können, verfügen wir mit der Entwicklung der Deep-Learning-Technologie nun über fortschrittlichere Methoden, um diese Art von Problem zu lösen. Zeigernetzwerke sind eine Variante des Sequenz-zu-Sequenz-Modells (seq2seq). Es eignet sich für Situationen, in denen die Länge der Ausgabesequenz mit der Eingabesequenz übereinstimmt und jedes Element der Ausgabe ein Zeiger auf eine Position in ist die Eingabesequenz.
2. Einführung in Zeigernetzwerke
Zeigernetzwerke wurden 2015 von Vinyals et al. vorgeschlagen und werden hauptsächlich zur Lösung von Problemen wie der Sortierung von Sequenzen variabler Länge verwendet. Das traditionelle seq2seq-Modell sagt die Ausgabesequenz anhand eines Vokabulars fester Größe voraus. Bei Problemen wie TSP ändert sich jedoch der Ausgaberaum mit der Eingabegröße, sodass die herkömmliche Methode nicht anwendbar ist. Das Zeigernetzwerk verwendet einen Aufmerksamkeitsmechanismus, um für jede Position in der Eingabesequenz eine Wahrscheinlichkeit zu generieren und dadurch direkt einen Positionszeiger auszugeben.
3. Reinforcement Learning und TSP
Reinforcement Learning ist ein Teilbereich des maschinellen Lernens, bei dem ein Agent lernt, durch die Interaktion mit seiner Umgebung bessere Leistungen zu erbringen. Im Rahmen von TSP besteht die Aufgabe des Agenten darin, den kürzesten Reiseweg zu finden. Jedes Mal, wenn Sie eine Stadt als nächsten Besuchspunkt auswählen, handelt es sich um eine Aktion. Die zurückgelegte Gesamtstrecke ist die Belohnung. Unser Ziel ist es, die Belohnung zu maximieren (d. h. die Gesamtstrecke zu minimieren).