Einführung
„Graph“ ist ein abstrakter Ausdruck von Dingen und Beziehungen. In der realen Welt gibt es eine große Menge relationaler Daten, die durch Graphen dargestellt werden können, und Graphdatenbanken werden zum Speichern und Berechnen dieser relationalen Daten verwendet.
Am Nachmittag des 6. Juli 2023 fand die World Artificial Intelligence Conference (WAIC2023) – Graph Technology Activating Data Elements Forum unter der Leitung des Büros des Organisationskomitees der World Artificial Intelligence Conference statt und wurde von Chuanglin Technology ausgerichtet, wobei der Schwerpunkt auf szenariobasierten Themen lag Implementierung der Graphentechnologie in der Finanzbranche. . Chuanglin Technology wurde 2016 gegründet und hat sich zum Ziel gesetzt, Benutzern die Möglichkeit zu geben, Einblicke in verwandte Daten zu gewinnen und den Wert von Datenbeständen voll auszuschöpfen. Das Unternehmen ist der führende Anbieter selbst entwickelter Diagrammdatenbanken in China. Sein vollständig unabhängig entwickeltes natives verteiltes Hochleistungsdiagramm Die Plattform Galaxybase wird im Finanzwesen eingesetzt. Sie ist stark in Branchen wie Energie, Internet und öffentliche Sicherheit engagiert. Zu ihren wichtigsten Kunden zählen die fünf großen Banken, führende Aktienbanken, städtische Geschäftsbanken, ländliche Geschäftsbanken, Stromnetze, Tencent und viele andere führende Kunden. Es unterstützt Online-Grafikanwendungsdienste mit einer Skala von über einer Billion Punkten.
Bei dem Treffen stellte Pan Jun, Leiter der Big-Data-Graph-Computing-Plattform von China UnionPay, die Erforschung der Graph-Technologie durch UnionPay seit 2019 vor und lieferte Erfahrungen und Referenzen für die Erstellung von Graph-Daten von Finanzinstituten.
Zusammenfassung
China UnionPay ist eine der drei größten Kartenmarken der Welt. Seit 2019 hat China UnionPay damit begonnen, den Aufbau von Graphdatenbanken in drei Hauptrichtungen durchzuführen: Plattform, Basiskarte und Modell, und hat sowohl auf technologischer als auch auf geschäftlicher Seite eine tiefgreifende Entwicklung erreicht. Im Jahr 2022 hat UnionPay den Entwurf, die Entwicklung und die Produktion einer einheitlichen Beziehungsbasiskarte mit einem Maßstab von 20 Milliarden Punkten abgeschlossen, die in Geschäftsszenarien wie Haushaltsmanagement, Risikokontrolle, Geschäftscompliance und Geschäftsbetrieb weit verbreitet ist.
Wichtigste Erkenntnisse
China UnionPay verfügt über umfangreiche und komplexe Daten, und sein Vier-Parteien-Modell, das Acquirer, Händler und Kartenaussteller intern verbindet, bildet auf natürliche Weise eine Beziehungskarte. Die Graph-Technologie kann globale Daten besser verstehen und durch Datenkorrelationsanalyse eine intelligente Risikokontrolle erreichen; sie kann auch technische Herausforderungen wie Engpässe bei der Rechenleistung und Data-Mining-Schwierigkeiten, die durch Geschäftsentwicklungsanforderungen verursacht werden, wirksam überwinden;
Um Datenredundanz, Duplizierung, Erweiterung usw. zu vermeiden, sollten dieselben Daten am selben physischen Ort gespeichert werden. China UnionPay hat eine einheitliche Beziehungsbasiskarte mit 20 Milliarden Punkt-Kanten-Beziehungen entworfen und Szenarien basierend auf der einheitlichen Beziehung erstellt Basiskarte. Modell;
Derzeit konzentrieren sich die meisten Graphdatenbankprodukte auf dem Markt auf AP-Szenarien (Graph Computing) und TP-Szenarien (Graph Query). Basierend auf den praktischen Erfahrungen von China UnionPay erfordern viele Geschäftsszenarien jedoch sowohl AP-Computing als auch TP-Abfragen erfordert eine einheitliche technische Route, um das Integrationsproblem von AP- und TP-Szenarien zu lösen.
Sharing-Experte: Pan Jun, Leiter der China UnionPay Big Data Graph Computing Platform Autor
: Dune Community Analyst Team
01 Fallunternehmen
China UnionPay Co., Ltd. (im Folgenden „China UnionPay“ genannt) wurde 2002 gegründet. Mit Zustimmung des Staatsrats und der Volksbank von China wurde es auf der Grundlage der Bank of China gegründet des Zusammenschlusses von 18 Informationsaustauschzentren für Bankkarten und 85 Institutionen. Kartensyndizierung.
Im Jahr 2022 betrug das Bankkartentransaktionsvolumen des Zahlungssystems China UnionPay 16,227 Milliarden US-Dollar. Dem Nielsen-Bericht zufolge betrug der Transaktionsanteil der Debitkarten von China UnionPay im Jahr 2022 40,03 %, übertraf damit erstmals Visa und wurde zum weltweit größten Debitkarte.
02 Geschäftliche Herausforderungen
Angesichts von Datenspeicher- und Abfrageszenarien mit einer großen Anzahl von Korrelationen haben herkömmliche relationale Datenbanken bestimmte Mängel im Geschäftsentwicklungsprozess aufgedeckt. Konkret:
China UnionPay ist eine der drei größten Kartenmarken der Welt. Es überträgt das Clearing-Geschäft über ein Vier-Parteien-Modell, das Acquirer, Händler und Kartenherausgeber miteinander verbindet. Diese Elemente bilden auf natürliche Weise eine Beziehungskarte. China UnionPay verfügt über eine riesige Menge komplizierter Daten. Wenn Sie die inhärenten Zusammenhänge und Werte von Geschäftsdaten weiter analysieren und erforschen und die Geschäftsentwicklung fördern möchten, benötigen Sie Datenanalysemethoden, die Einblicke in die Gesamtsituation gewinnen können. Für herkömmliche relationale Datenbanken ist es schwierig, Daten mithilfe der Netzwerktopologie vollständig zu beschreiben, sie können nicht gespeichert und nicht abgefragt und berechnet werden.
Als Kartenorganisation meines Landes hat UnionPay die Verantwortung, die finanzielle Sicherheit zu gewährleisten und die Finanzstabilität aufrechtzuerhalten. Es muss verdächtige Kreditkartentransaktionen, Geldwäsche, Online-Glücksspiele und andere illegale Aktivitäten überwachen und dagegen vorgehen. Bei diesen Aktivitäten handelt es sich oft um relativ komplexe finanzielle Zusammenhänge und Bandenverhalten. Bei der Bekämpfung und Aufdeckung von Verstößen in schwarzen und grauen Industrien verwenden herkömmliche relationale Datenbanken Multi-Table-Joins zur Berechnung finanzieller Verbindungen, was zu Leistungsengpässen führt und es technisch unmöglich ist, Banden und Communities auszuwerten.
03 Lösung
Der Wert der Graphentechnologie liegt in der Visualisierung und Vereinfachung komplexer Zusammenhänge, der tiefgreifenden Analyse und Erkenntnisgewinnung, der Flexibilität und Skalierbarkeit, der Lösung komplexer Probleme sowie der Unterstützung intelligenter Entscheidungsfindung und Optimierung. Diese Werte machen die Graphentechnologie zu einem wichtigen Werkzeug und einer Methode zur Verarbeitung und Analyse komplexer Daten und unterstützen intelligente Entscheidungsfindung und Optimierung.
Seit 2019 hat China UnionPay die Entwicklung der Graphentechnologie in UnionPay in vielerlei Hinsicht vorangetrieben, einschließlich der Plattformkonstruktion und der plattformbasierten Basiskartenkonstruktion sowie der Modellkonstruktion. Die Plattform ist von Grund auf gewachsen, die Basiskarte wurde von einer Milliarde auf Dutzende erweitert Milliarden, und das Modell hat mehr als ein Dutzend in Produktion genommen, und die Technologie hat sich vertikal weiter vertieft und die Anwendung der Graphentechnologie in Geschäftsszenarien untersucht. Speziell:
2019: Erforschung von Open-Source-Graph-Computing-Produkten. Basierend auf Open-Source-Graph-Computing-Produkten hat China UnionPay ein Karteninhaber-Beziehungsdiagramm auf Milliardenebene erstellt und die Modellentwicklung von Karteninhabergemeinschaften und verdächtigen Kreditkartentransaktionen abgeschlossen.
2020: Pilotprodukt für Business Map Computing. Die Entwicklung einer Big-Data-Graph-Computing-Plattform auf Basis kommerzieller Territorial-Computing-Produkte wurde abgeschlossen und mit der Big-Data-Plattform von UnionPay verbunden, um eine einheitliche Beziehungsbasiskarte mit einer Skala von mehreren zehn Milliarden Punkten zu erstellen.
2021–2022: Groß angelegte kommerzielle Layout-Computing-Produkte. Fertigstellung einer einheitlichen Beziehungsbasiskarte mit einem Maßstab von 20 Milliarden Punkten und Kanten, Abschluss der Entwicklung von mehr als zehn Diagrammmodellen für grafische neuronale Netzwerke und SynchroTrap-Algorithmen und deren umfassende Anwendung auf Geschäftsszenarien wie UnionPay-Geschäftsabläufe, Geschäftsspezifikationen und Risiken Steuerung und Cloud QuickPass-Benutzerverwaltung. .
2023 bis heute: Tiefe Integration der Graph-KI-Technologie. Mit der Geburt von ChatGPT hat sich die Großmodelltechnologie rasant weiterentwickelt, und China UnionPay stärkt die tiefgreifende Integration der Graphtechnologie und anderer Technologien der künstlichen Intelligenz weiter.
Die Architektur der Big-Data-Graph-Computing-Plattform von China UnionPay ist in vier Schichten unterteilt:
Die unterste Ebene ist die Datenquellenebene, die auf der Big-Data-Offline-Datenbank von UnionPay basiert, die Transaktionsdaten, Benutzerdaten, Händlerdaten, institutionelle Daten usw. enthält und täglich Daten auf PB-Ebene stapelt. Die Diagrammdatenschicht wird über die Datenschnittstellenschicht erreicht, und die einheitliche relationale Basiskarte dient als Basis für die Unterstützung von Diagrammaufgaben wie Diagrammabfragen, Diagrammregeln, Diagrammalgorithmen, maschinelles Lernen von Diagrammen und neuronale Diagrammnetze. Die Anwendungsschicht unterstützt Geschäftsszenarien wie Benutzerverwaltung, Risikokontrolle, Geschäftscompliance und Geschäftsbetrieb.
(1) Diagrammkonstruktion
Beim Entwurf einer einheitlichen Beziehungsbasiskarte bestand die ursprüngliche Idee von China UnionPay darin, verschiedene kleine Karten für unterschiedliche Geschäftsszenarien zu entwerfen. Es würde jedoch zu Datenredundanz, Duplizierung, Erweiterung usw. kommen und dieselben Daten sollten am selben physischen Ort gespeichert werden.
Daher hat China UnionPay auf der Grundlage von Datenquellen wie Transaktionsfluss, Transaktionszusammenfassung und Kontoinformationen wichtige Elemente vereinheitlicht und eine einheitliche Beziehungsbasiskarte entworfen, die 20 Milliarden Point-Edge-Beziehungen enthält, darunter Bankkarten, Mobiltelefonnummern, ID-Karten und Cloud Flash Registrierte Benutzerinformationen, Händler-, Institutionsinformationen, Transaktionsinformationen usw.
Basierend auf der einheitlichen Beziehungsbasiskarte hat China UnionPay Szenariomodelle erstellt, darunter verdächtige Kreditkartentransaktionen, Geldwäschebekämpfung, Online-Glücksspiele, Kreditkartenrückgabe, abnormale Transaktionsfragmente, Cloud Quick Pass Light Social, Karteninhaber-Community, Händler-Community und andere Szenarien .
(2) Diagrammabfrage
Benutzerbeziehungsabfrage: Geben Sie die beiden desensibilisierten Mobiltelefonnummern ein, um den kürzesten Weg zwischen ihnen abzufragen. Wie in der folgenden Abbildung gezeigt, durchlaufen die linken und rechten Mobiltelefonnummern 6 Bindungsbeziehungskanten, 4 Übertragungskanten und 2 Cloud-Blitze. Bezahlen Nutzerempfehlungen und Kontaktaufnahme.
Abfrage der Händlerbeziehung: Geben Sie zwei Händlernummern ein, um den kürzesten Weg zwischen ihnen abzufragen. Wie in der Abbildung unten gezeigt, durchlaufen die beiden Händler links und rechts (ein Händler in der Sunshine World Mall und ein Händler in der Changtai Commercial Plaza) drei kurze Wege -Term öffentliche Kartenkanten. Die Verbindung ist hergestellt und die kürzeste in der Transaktion widergespiegelte Zeit von Sunshine World zum Changtai Commercial Plaza beträgt (677+476+1404)/60=42,6 Minuten.
(3) Diagrammregeln
Basierend auf der Bindung, Registrierung, Authentifizierung, Neuerwerbung, Transferinteraktion und anderen Beziehungskanten zwischen Identitätselementen wie Mobiltelefonnummern, Bankkarten und Cloud QuickPass-Benutzernummern erstellt China UnionPay einen Cloud QuickPass-Beziehungsuntergraphen auf Milliardenebene. Durch Diagramm Ähnlichkeit Die Gradregeln berechnen den Intimitätsgrad von Cloud QuickPass-Benutzern und analysieren und empfehlen potenzielle Freunde.
(4) Graphalgorithmus
Die Karteninhabergemeinschaft stellte Folgendes fest: Basierend auf den starken Beziehungskanten wie Bindung, Registrierung und Authentifizierung zwischen Bankkarten, Mobiltelefonnummern, Gerätenummern, ID-Karten und Cloud QuickPass-Benutzernummern in der einheitlichen Beziehungsbasiskarte, dem Unicom-Komponentenalgorithmus Wird verwendet, um eine virtuelle Community-ID zu bilden, die auf der Karte mit mehreren zehn Milliarden Karten basiert und Karteninhabergemeinschaften auf Milliardenebene aufteilt. Die Gewichtung wird entsprechend der Kanalquelle, der Aktualisierungszeit, dem aktuellen Status usw. der Beziehungskante bewertet und der Label-Propagationsalgorithmus wird verwendet, um die sehr große Community weiter zu segmentieren.
Erkennung verdächtiger Transaktionsuntergraphen: Die Entdeckung verdächtiger Transaktionen kann auf Grundlage jeder Karteninhabergemeinschaft durchgeführt werden, wobei Kreditkartentransaktionen und Debitkartentransaktionen innerhalb jeder Karteninhabergemeinschaft, Verbrauchstransaktionen und Transaktionen bei verschiedenen Händlern in einem sehr kurzen Zeitraum oder über Tage hinweg berücksichtigt werden. Wenn Entspricht die Zahlungstransaktion dem Kooperationsmuster einer bestimmten Zeit und eines bestimmten Betrags, kann es zu verdächtigen Kartentransaktionen kommen.
(5) Graphisches maschinelles Lernen
China UnionPay realisiert die Erkennung von Geschäftskonformität durch die Erstellung eines SynchroTrap-Algorithmus, der in drei Hauptschritte unterteilt ist: Erstellung eines Ähnlichkeitsdiagramms, Aufteilung der Diagrammgemeinschaft und Erkennung von Diagrammanomalien.
Erstellen Sie zunächst eine Ähnlichkeitskarte:
Definieren Sie zwei Karten als ähnlich, wenn der Verbrauch bei demselben Händler innerhalb eines ähnlichen Zeitraums erfolgt. Berechnen Sie die Anzahl der Händler mit ähnlichem Verhalten zwischen zwei beliebigen Karten innerhalb eines Zeitraums , die Anzahl der Händler + Zeitraum und die Anzahl der Transaktionen als Ähnlichkeitswert zwischen den beiden Karten. Nehmen Sie die Karte als Scheitelpunkt und verbinden Sie eine Kante, um ein Ähnlichkeitsdiagramm zu erstellen, wenn die Anzahl ähnlicher Händler zwischen den Karten größer oder gleich 2 ist.
Teilen Sie als Nächstes die Graph-Community auf:
Die Ähnlichkeit zwischen Karten hinsichtlich der Anzahl der Händler, der Anzahl der Händler + Zeiträume und der Anzahl der Transaktionen wird in einem bestimmten Verhältnis als endgültiges Kantengewicht gewichtet und standardisiert. Dann wird der Louvain-Algorithmus verwendet, um die Gemeinschaft aufzuteilen, und die Karten mit relativ enger Beziehung werden in eine Gemeinschaft aufgeteilt, und es werden mehrere Bankkartengemeinschaften mit synchronisiertem räumlich-zeitlichen Verhalten erhalten.
Da die durch Ähnlichkeit berechneten Community-Aufteilungen zufällig sein können, ist eine Erkennung von Diagrammanomalien erforderlich. Berechnen Sie die Größe und die interne Nähe jeder Community als Merkmale zur Beschreibung der Community. Verwenden Sie basierend auf allen Communities und ihren Merkmalen den Isolationswaldalgorithmus zur Anomalieerkennung und finden Sie ein geschäftsintuitives Verständnis von „zu groß“ oder „zu nah“. Quantitative Bewertung: Die Community für abnormale Bankkarten hat endlich den abnormalen Händler gefunden.
Typische abnormale Fälle sind wie folgt: Zwei Karten in einer abnormalen Gemeinschaft waren bei mehr als 100 Händlern in einem Monat zeitlich und räumlich stark koordiniert, und die Reihenfolge der Transaktionshändler wechselte weiter. Nach weiterer Analyse wurde festgestellt, dass es Banken gab mit ähnlichem abnormalem Verhalten in der abnormalen Gemeinschaft. Es sind noch mehr als hundert Karten übrig. Daher werden solche Transaktionen als nicht reale Transaktionen identifiziert, die von Maschinenprogrammen automatisiert und stapelweise gesendet werden.
(6) Graphisches neuronales Netzwerk
Beim Online-Glücksspiel gibt es markierte Zahlungskarten, aber wenn Sie diese direkt in Form von Bildern verbreiten, kann es zu versehentlichen Schäden kommen, und ein gewisses Urteilsvermögen ist erforderlich. China UnionPay verwendet eine dreischichtige graphische neuronale Netzwerkstruktur und kombiniert eine kleine Anzahl markierter Proben und eine große Anzahl unbeschrifteter Proben, um das Modell zu trainieren. Während des Trainingsprozesses wird jedoch nur der Kreuzentropieverlust der markierten Proben berechnet Die Eigenschaften der unbeschrifteten Proben werden kontinuierlich absorbiert.
04 Zukunftsausblick
Bei der Erforschung der zukünftigen Graphentechnologie konzentriert sich China UnionPay auf die folgenden drei Aspekte:
Erstens, Szenenintegration. Derzeit konzentrieren sich die meisten Graphdatenbankprodukte auf dem Markt auf AP-Szenarien (Graph Computing) und TP-Szenarien (Graph Query). Basierend auf den praktischen Erfahrungen von China UnionPay erfordern viele Geschäftsszenarien jedoch sowohl AP-Computing als auch TP-Abfragen erfordert eine einheitliche technische Route, um das Integrationsproblem von AP- und TP-Szenarien zu lösen.
Zweitens finanzielle Sicherheit. Finanz-IT-Systeme stellen sehr hohe Anforderungen an die Sicherheit, Stabilität und Zuverlässigkeit des Systems selbst. Es muss noch geklärt werden, wie bei einem Maschinenausfall ununterbrochene Aufgaben und eine schnelle Wiederherstellung sichergestellt werden können. Die Graph-Technologie ist immer noch relativ innovativ und das ist der Fall Raum für weitere Verbesserungen.
Drittens, technologische Innovation. Im Zeitalter der rasanten Entwicklung der künstlichen Intelligenz entstehen nacheinander verschiedene Technologien wie Graphen, maschinelles Lernen, Deep Learning, große Modelle und kausale Schlussfolgerungen. Sie stehen in voller Blüte und sind miteinander verflochten. In der Zukunft werden wir Wird dem Trend der Geschichte folgen und dem Tempo der Zeit folgen. In großen Modellen und tiefem Lernen wird die Schnittstelle zwischen Kausalschlussfolgerung und Diagramm aktiv erforscht und implementiert.