Hypergraph Neural Network (HGNN)

1. Grundkonzepte des Hypergraphen

In der traditionellen Graphennetzwerkstruktur kann eine Kantenverbindung zwischen zwei Punkten eingeführt werden;

Aber in einigen spezifischen Feldern kann eine Kante mehr als zwei Punkte verbinden, deshalb haben wir einen Hypergraphen eingeführt.
Beispiel: Dieselbe Klasse kann viele Punkte verbinden. Schüler; es gibt viele Benutzer unter einer IP können wir Hyperkanten verwenden, um diese Klasse oder diese IP darzustellen;
Ein Hypergraph kann eine beliebige Anzahl von Knoten haben, wenn alle Hyperkanten zwei verbinden. Die Knoten degenerieren dann zu einfachen Graphen;

2. Multimodale Hypergraphenkonstruktion

Angesichts multimodaler Szenen: Sie könnenvisuelle Verbindungen, Textverbindungen, daher wird es viel einfacher sein, diese in eine zu lösende Hypergraphenstruktur zu integrieren als einen einfachen GraphenSoziale Verbindungen und

Wie erstellt man also einen Hypergraphen unter multimodalen Daten und wie verwendet man Algorithmen, um Knoteneigenschaften zu erhalten?

$group1$Dies ist eine Supergruppe von Modellen,$groupN$ ist ein Diagramm einer anderen Modalität. Mehrere Modalitäten werden zusammengefügt, um einen multimodalen Hypergraphen zu erstellen.
Hypergraph Das Datenformat ist wie in der Abbildung oben gezeigt: Zeilen sind Hyperkanten und Spalten sind Knoten; wenn eine Verbindung besteht, ist sie 1, andernfalls ist sie 0;
W ist das Gewicht, das jeder Hyperkante zugewiesen wird, und initialisiert W als Einheitsmatrix, was bedeutet, dass die Gewichte aller Hyperkanten gleich sind. W kann gemäß dem Modell trainiert oder als Einheitsmatrix festgelegt werden;

2.1 Knotengrad:

2.2 Grad der Hyperkante:

2.3 Formel aktualisieren:

GCN-Aktualisierungsformel:

Hypergraph-Aktualisierungsformel:

$D_v$ ist die Gradmatrix der Hyperkante;
$D_e$ ist die Gradmatrix des Scheitelpunkts;
$W$Das ist wichtig;
$H$ ist die Adjazenzmatrix des Hypergraphen;
$X^{\left(l\right)}$Dies ist die Spezialexpedition der L-Stufe;
${ich}^{\left(l\right)}$Bitte befolgen Sie alle Anweisungen; (对$X^{\left(l\right)}$Advanced Special Conquest Pass)

Geben Sie ein praktisches Beispiel:

Erster Schritt: Grund${ich}^{\left(l\right)}$Dies ist die Anzahl der Verbindungen, die hergestellt werden können, siehe Zukunft< /span>${ich}^{\left(l\right)}$;
Zweiter Schritt: < / a>$D_{In}^{-1/2}$$D_{Es\; ist}^{-1}$$D_{In}^{-1/2}$ ist eine Normalisierungsoperation, Sie können sie auch zuerst ignorieren;
Schritt 3: Hyperedge-Features konstruieren: $H^T$$X$ besteht darin, alle Hyperedge-Nachbarknoten auf dem Hyperedge zu aggregieren (Summierung)
Schritt 4: Aktualisierung der Knotenfunktionen: a>$H\ast$$H^T$$X$
Fünfter Schritt: Verwenden Sie$D_{In}^{-1/2}$$D_{Es\; ist}^{-1}$$D_{In}^{-1/2}$Schließen Sie den Normalisierungsvorgang ab.
Hinweis: Die zu trainierenden Parameter können im vorherigen Teil als feste Werte betrachtet werden

GCN und Obwohl die von HGNN berechneten Werte etwas unterschiedlich sind, sind ihre wesentlichen Ideen ähnlich. Man kann sagen, dass GCN eine besondere Art von HGNN ist

3. Experiment:

1. Cora-Zitatdatensatz, die Hypergraph-Struktur ist der Originalstruktur sehr ähnlich und es werden keine weiteren Informationen hinzugefügt, sodass der Effekt weniger verbessert wird;

2. Visuelle Klassifizierung Aufgabe:
Es handelt sich im Wesentlichen um eine Struktur ohne Graphen. Der Autor wählt jedes Mal einen Knoten des Datensatzes aus und verwendet seine 10 nächsten Nachbarn im ausgewählten Merkmalsraum, um eine Superstruktur einschließlich des Knotens zu generieren selbst. Edge;

3.ModelNet40:

4. Zusammenfassung

Die Hypergraph-Struktur kann die Korrelation zwischen komplexen und höherwertigen Daten ausdrücken und die Beziehung zwischen den zugrunde liegenden Daten besser ausdrücken als die Graph-Struktur oder die Nicht-Graph-Struktur-Methode. Wenn multimodale Daten/Funktionen verfügbar sind, hat HGNN darüber hinaus den Vorteil, diese multimodalen Informationen durch seine flexiblen Hyperkanten in derselben Struktur zu kombinieren;