Wenn die Verschiebung der Datensatzverteilung theoretisch vollständig vermieden werden kann, muss das Modell das Robustheitsproblem bei der Verteilungsverschiebung nicht berücksichtigen.
In tatsächlichen Situationen ist es jedoch schwierig, das Auftreten von Verteilungsverschiebungen vollständig zu vermeiden. Die Hauptgründe sind:
- Verzerrung bei der Erhebung von Trainings- und Testdaten . Trainingsdaten und Testdaten stammen oft aus unterschiedlichen Umgebungen und zu unterschiedlichen Zeiten und es ist schwierig sicherzustellen, dass sie einer vollständig konsistenten Verteilung folgen.
- Änderungen der Testumgebung. Selbst wenn die Trainings- und Testdaten aus derselben Verteilung stammen, kann die reale Umgebung bei der Bereitstellung des Modells von der Testumgebung abweichen.
- Gegenangriff. Der Gegner kann die Eingabeverteilung absichtlich von der Trainingsverteilung des Modells abweichen lassen, um das Modell in die Irre zu führen.
- Die Probe ist unausgeglichen. Aufgrund der unterschiedlichen Anzahl verschiedener Stichprobentypen stimmen die Trainings- und Testverteilungen nicht überein.
- Der Datensatz selbst ist begrenzt. Kein Datensatz kann die reale Welt perfekt widerspiegeln.
Es gibt mehrere gängige Lösungen:
- Verwenden Sie die Datenerweiterung (Data Augmentation) 1 , dh indem Sie einige Transformationen an den Originaldaten durchführen, z. B. Drehung, Zuschneiden, Skalierung, Rauschen usw., um die Vielfalt und Robustheit der Daten zu erhöhen und dadurch die Anpassungsfähigkeit des Modells zu verbessern unterschiedliche Datenverteilungen.
- Verwenden Sie die Domänenanpassung (Domänenanpassung) 2 , d. h. indem Sie eine gewisse Ausrichtung oder Transformation an der Quelldomäne (ursprüngliche Datenverteilung) und der Zieldomäne (neue Datenverteilung) durchführen, um die Unterschiede zwischen ihnen zu verringern und dadurch die Leistung des Modells im Ziel zu verbessern Fähigkeit zur Domänenverallgemeinerung.
- Verwenden Sie die Wichtigkeitsgewichtung 3 , indem Sie den Daten in der Quelldomäne und der Zieldomäne unterschiedliche Gewichtungen zuweisen, um ihre Bedeutung für das Modelltraining oder -tests widerzuspiegeln und dadurch die Genauigkeit und Stabilität des Modells in der Zieldomäne zu verbessern.
- Verwenden Sie die Ausreißererkennung (Outlier Detection) 4 , d. h. durch Identifizieren und Eliminieren abnormaler Daten, die nicht mit der normalen Datenverteilung übereinstimmen, um zu verhindern, dass sie sich negativ auf das Modell auswirken, wodurch die Zuverlässigkeit und Sicherheit des Modells verbessert wird.
Die Normalisierung von Eingabedaten ist eine gängige Methode, mit der das Problem der „Verteilungsverschiebung“ gelöst werden kann. Der Zweck der Normalisierung besteht darin, die Daten in einen einheitlichen Standard umzuwandeln, beispielsweise ist der Mittelwert 0 und die Varianz 1. Oder der Maximalwert ist 1 , der Mindestwert ist 0 usw. Dies kann die Unterschiede zwischen den Daten verringern und die Stabilität und Generalisierungsfähigkeit des Modells verbessern.
Es gibt verschiedene Normalisierungsmethoden, die auf verschiedene Szenarien und Aufgaben angewendet werden können. Für Zeitreihenvorhersageaufgaben ist beispielsweise die Reversible Instance Normalization (RevIN) eine einfache, aber effektive Normalisierungsmethode, die aus zwei Schritten besteht: Normalisierung und Nichtnormalisierung. Der Normalisierungsschritt besteht darin, den Mittelwert und die Varianz der Eingabedaten anzupassen, um ihre Verteilung festzulegen. Der Nichtnormalisierungsschritt besteht darin, die Ausgabedaten auf die ursprüngliche Verteilung zurückzusetzen. Dies kann die Anpassungsfähigkeit an Änderungen in der Datenverteilung verbessern und gleichzeitig eine hohe Genauigkeit beibehalten1 .