12,23 Yuan Chuanghui·Shanghai Station, sprechen wir über die LLM-Infrastruktur

Der Großteil der maschinellen Lern- und Data-Lake-Rechenleistung in Volcano Engine-bezogenen Unternehmen läuft auf der cloudnativen K8s-Plattform. Die Rechenszenarien der Trennung von Speicher und Rechenleistung sowie der elastischen Skalierung unter der Cloud-nativen Architektur haben die Entwicklung der Speicherbeschleunigung erheblich vorangetrieben. Derzeit hat die Branche auch eine Vielzahl von Speicherbeschleunigungsdiensten abgeleitet. Angesichts der Vielfalt der Computer- und Kundenszenarien gibt es jedoch keine branchenübliche Speicherbeschleunigungspraxis, und viele Benutzer sind bei der Auswahl auch mit großer Verwirrung konfrontiert. Wir haben einen Cloud-nativen Speicherbeschleunigungsdienst auf der Volcano Engine aufgebaut, der sich an verschiedene Rechenszenarien von maschinellem Lernen und Data Lakes anpasst, und sind bestrebt, Unternehmen benutzerfreundliche, transparente Beschleunigungsdienste bereitzustellen. Dieser Austausch basiert auf unseren Geschäftspraktiken auf der Volcano-Engine, um unsere Erfahrungszusammenfassung und Gedanken zur Speicherbeschleunigung auszutauschen.

Autor: Guo Jun, Leiter der Big-Data-Dateispeichertechnologie von Volcano Engine

Cloud-nativAnforderungen an die Speicherbeschleunigung

Cloud Native Business Basisdienste können hauptsächlich in drei Teile unterteilt werden : Computer, Speicher und Middleware .

Die oberste Ebene ist das Computergeschäft, das größtenteils auf der K8s -Basis betrieben wird. Auf der Grundlage der Computerbasis werden einige Big-Data-Aufgaben und KI-Trainingsaufgaben ausgeführt, und dann gibt es verschiedene Computer-Frameworks.
Die unterste Ebene ist der Speicherdienst. Derzeit Trennung von Speicher und Computer ist der zukünftige Trend der Branche. Für einige Standards Die Cloud Speicherdienste kann in die folgenden drei Kategorien unterteilt werden:
- Der erste Typ ist Objektspeicher , hauptsächlich AWS S3 ist einStandardprodukt, und jeder Cloud-Anbieter bietet auch einige innovative Dienste an, die auf Standardfunktionen basieren; a>
- Die zweite Kategorie ist NAS . Traditionell wird es als Remote-Dateispeicher positioniert. Mittlerweile haben grundsätzlich alle Cloud-Anbieter Standards. Speicherprodukte; NAS
- Die dritte Kategorie sind verschiedene parallele Dateisysteme, PFS genannt, sein Design ist die ursprüngliche Absicht zur Unterstützung herkömmlicher HPC-Szenarien für Unternehmen und kann große Parallelität<-Daten unterstützen Lesen von /span>Heute wird es hauptsächlich zur Unterstützung groß angelegter KI-Trainingsszenarien in der Cloud verwendet. . und hoher Durchsatz
Die mittlere Schicht besteht aus verschiedenen Speicher-Middleware. Aufgrund der inhärenten lokalen Speicherbeschränkungen ist es oft unmöglich, mit Computerdiensten für groß angelegte Parallelität oder elastische Planung zusammenzuarbeiten. Daher hat die Branche einige Speicher- und Beschleunigungs-Middleware zwischen dem gesamten Computergeschäft und den Speicherdiensten eingeführt. ALLUXIO ist beispielsweise ein typischer Vertreter der Speicherbeschleunigung. Darüber hinaus verfügt JuiceFS selbst über viele Caching- und Beschleunigungsfunktionen. Bei der Speicherbeschleunigung geht es im Wesentlichen darum, Rechendiensten flexiblere Lese- und Schreibfähigkeiten zu bieten.

Schmerzstellen

Aus geschäftlicher Sicht weisen Speicher und Beschleunigung die folgenden Schwachstellen auf:

Der erste Schwachpunkt ist die Modellauswahl. Da es keinen einheitlichen Industriestandard für verschiedene Beschleunigungs-Middlewares gibt, unterliegt jede Middleware unterschiedlichen Einschränkungen. Dieser Problempunkt kann aus den folgenden Perspektiven betrachtet werden. Der erste ist die Protokollkompatibilität. Welche Art von Protokoll stellt das Middleware-Produkt dem Unternehmen zur Verfügung? Handelt es sich um ein Objektspeicherprotokoll oder ist es teilweise kompatibel POSIX -Protokoll, es gibt immer noch ein 100% POSIX-Protokoll; außerdem ist der Unterschied im Kostenmodell der Kostenpreis, der für die gleiche beschleunigte Bandbreite erforderlich ist; der dritte ist das Datenformat, das Datenformat und das Datenverzeichnis der Speicherbasis müssen transparent sein. Geben Sie es an das Unternehmen weiter oder stellen Sie es in der Middleware wieder zusammen und konvertieren Sie es.

Der zweite Problempunkt ist die Verwaltung von Middleware-Produkten. Bei Middleware-Produkten zur Speicherbeschleunigung gilt es, den Betrieb und die Stabilität, den Datenfluss zwischen zugrunde liegenden Speicherdiensten sowie Kontingente und qos in Bezug auf Verwaltung und Kontrolle sicherzustellen Gibt es Unterstützung durch einige Funktionen?

Gemeinsame Lösungen

Das Bild oben zeigt eine gängige Speicherbeschleunigungslösung in der aktuellen Branche.

Der erste ist Objektspeicher + Alluxio. Der Nachteil ist, dass POSIX nur begrenzte Kompatibilität aufweist. Die Kompatibilität von POSIX wird hauptsächlich durch die Fähigkeiten des Objektspeichers selbst begrenzt. Es gibt keine Möglichkeit, Funktionen wie Umbenennen, Verzeichnislöschen, zufälliges Schreiben, Überschreiben und Anhängen von atomaren Verzeichnissen zu unterstützen. Der Vorteil besteht darin, dass die Gesamtkosten relativ gering sind, da es auf Objektspeicher basiert und Alluxio selbst ein transparentes Datenformat ist. Die Verzeichnisstruktur und die im Objektspeicher angezeigten Daten können dem Unternehmen direkt präsentiert werden.
Die zweite Lösung ist Objektspeicher + JuiceFS. Einer der größten Vorteile dieser Lösung besteht darin, dass die allgemeine POSIX -Kompatibilität sehr gut ist. Auch die Gesamtkosten sind relativ günstig, da auf einigen Computern häufig lokale Festplatten als Cache-Beschleunigungsmedien verwendet werden. Es ist zu beachten, dass es sich bei seinem Datenformat um ein privates Format handelt, da die im Objektspeicher gespeicherten Daten in Stücke geschnitten sind, sodass die vollständige Datei im Objektspeicher nicht sichtbar ist. Die Governance-Kosten dieser Lösung variieren von Person zu Person. Wenn alle Geschäfte auf Basis des JuiceFS-Dienstes abgewickelt werden, fallen nahezu keine Governance-Kosten an. Wenn Sie jedoch einen Datenfluss zwischen JuiceFS und anderen Speicherdiensten durchführen möchten, müssen Sie viel Governance-Arbeit leisten.
Die dritte Lösung sind Dienste, die auf verschiedenen parallelen Dateisystemen basieren. Die Vorteile sind POSIX gute Kompatibilität, transparentes Datenformat und niedrige Governance-Kosten. Aufgrund der Verwendung einiger Hochleistungskomponenten ist der Preis in der Branche jedoch relativ hoch.
Die letzte Lösung besteht darin, dass verschiedene Cloud-Anbieter Object Storage und PFS eingeführt haben im Objektspeicher und heiße Daten im PFS gespeichert werden. Allerdings ist die tatsächliche Geschäftserfahrung nicht sehr komfortabel und der Datenfluss zwischen beiden Parteien erfordert auch hohe Verwaltungskosten. kalte Daten Durch die Kombination von Funktionen besteht die Vision darin, dass

Was ist eine „gute“ Speicherbeschleunigung?

Wir verstehen, dass eine „gute“ Speicherbeschleunigung die Merkmale transparenter Beschleunigung, Kompatibilität mit mehreren Protokollen, elastischer Skalierbarkeit und grundlegender Datenverwaltungsfunktionen erfüllen sollte.

Transparente Beschleunigung

Eine der Voraussetzungen für eine transparente Beschleunigung besteht darin, dass die dienstbasierte Beschleunigungsfunktion sofort verfügbar sein muss und über eine stabile SLA Garantie. Sie können auch vor Ort bezahlen. Eine weitere Anforderung besteht darin, das native Protokoll des Basisspeichers zu beschleunigen und es direkt dem Unternehmen zugänglich zu machen. Aus geschäftlicher Sicht besteht keine Notwendigkeit, die Codeebene zu ändern. Es sind nur einige Konfigurationsanpassungsanpassungen erforderlich, um das ursprüngliche Verzeichnis im Basisspeicher anzuzeigen . Struktur und Datenformat. Derzeit sind alle Speicherdienste relativ ausgereift, unabhängig davon, ob es sich um Cloud-Speicher oder Unternehmensspeicher handelt. Wir erfinden das Rad nicht neu, sondern hoffen nur auf eine Beschleunigung Die transparenten Fähigkeiten Machen Sie gute Arbeit und lösen Sie Geschäftsprobleme besser.

Multiprotokollkompatibel

Multiprotokollkompatibilität basierend auf Objektspeicher erfordert eine Optimierung in den folgenden vier Aspekten:

Das erste sind grundlegende Beschleunigungsfunktionen, einschließlich Unterstützung für das S3-Protokoll, Verzeichnisbaum-Caching und die Fähigkeit, automatisch in Objektspeicher zurückzuschreiben ; a>
Die zweite ist die Umbenennungsoptimierung. Mittlerweile unterstützen viele Cloud-Anbieter einen einzelnen Objekt atomaren Umbenennungsvorgang, der hauptsächlich mit einem einzelnen Objekt verbunden ist. Umbenennen API , optimiert die Leistung der Verzeichnisumbenennung bis zu einem gewissen Grad;
Der dritte ist die Append-Unterstützung, die eine Verbindung zu den Appendable-Objekten von Cloud-Anbietern herstellt und den allgemeinen Schreibmodus Close-Open-Append unterstützt;
Der vierte ist FUSE , der CSI bereitstellt Unterstützt mit FUSE bereitgestellte Hochverfügbarkeitsfunktionen und kann die Geschäftskontinuität weiterhin aufrechterhalten, nachdem der FUSE-Prozess abstürzt und neu gestartet wird. IO

Bei dieser auf Objektspeicherung basierenden Beschleunigungslösung werden wir hauptsächlich auf die folgenden drei Probleme stoßen.

Das erste Problem ist POSIX s unzureichende Kompatibilität aufgrund vieler maschinellen Lernverfahren Trainingsjobs basieren auf dem Standard-POSIX-Dateisystem und können daher nicht auf Basis dieser Lösung ausgeführt werden.
Das zweite Problem besteht darin, dass Benutzer, wenn sie Geschäfte basierend auf dieser Architektur fördern möchten, häufig eine Transformation des Modells IO auf Geschäftsebene durchführen müssen , was für Algorithmeningenieure sehr schwer zu erreichen ist.
Das dritte Problem besteht darin, dass viele Benutzer diese Lösung aufgrund der beiden oben genannten Einschränkungen als effizienten schreibgeschützten Cache zum Aufbau von Geschäften betrachten, was auch die Obergrenze des Nutzungswerts dieser Lösung begrenzt.

Um die oben genannten Probleme zu lösen, haben wir uns nach Recherche zu verwandten Produkten auf dem Markt entschieden, sie auf Basis von NAS POSIX Kompatibilitätsprobleme. Als standardmäßigesCloud-Speicherprodukt ist NAS von Natur aus mit vollständigen POSIX-Funktionen ausgestattet. Durch die Anpassung von NAS als Speicherbasis auf der Beschleunigungsebene werden Protokollanpassung und Konsistenzsicherung durchgeführt, um die Bandbreiten- und Leistungsengpässe des NAS-Produkts selbst zu beheben. Von den Kosten her ist kapazitätsbasiertes NAS etwas teurer als Objektspeicher, insgesamt liegt das Preis-/Leistungsverhältnis aber immer noch in einem akzeptablen Bereich.

Elastische Skalierung

Die Beschleunigungsschicht muss außerdem elastische Skalierungsfunktionen erreichen, und die Beschleunigungskomponente muss auch auf einer Cloud-nativen -Architektur basieren Die gesamte Datenebene basiert auf /span> ist mit verteilten Metadaten aufgebaut und die Beschleunigung der Die Datenebene basiert ebenfalls auf der nativen Plattform. Daher können sowohl Metadaten als auch Datenebene über elastische Skalierungsfunktionen verfügen. SSD NVME

Datenamt

Die folgenden wichtigen Funktionen sind in der Datenverwaltung erforderlich:

Automatische Rückschreibbasis: Wenn viele Unternehmen Daten über Beschleunigungskomponenten schreiben, sind sie sehr besorgt über die Sichtbarkeit der Daten im Objektspeicher base. Natur, da es viele nachgelagerte Unternehmen geben wird, die sich auf die Ausgabedateien des vorherigen Unternehmens verlassen müssen, um nachfolgende Unternehmen zu initiieren. Daher benötigen wir eine deterministische Rückspülstrategie, die nicht zu viele manuelle Eingriffe erfordert.
Anpassung der Cache-Strategie: Es ist mehr Unterstützung für Cache-Strategien erforderlich, z. B. typische LRFU , TTL < /span> usw., die relevante Mechanismen der in der Branche üblichen Vorwärmfunktionen unterstützen.
Isolierung mehrerer Aufgaben: Bietet einige Beschleunigungsgarantien auf Aufgabenebene.
Rechtzeitige Aktualisierung des Caches: Unterstützt den Zugriff auf Objektspeicher Ereignisaktive Aktualisierung, unterstützt auch TTL-basiert Passive Pull-Updates für den Mechanismus .

CloudFS-Beschleunigungspraxis

Aufgrund der Nachfrage des Byte-internen Geschäfts nach den oben genannten Speicherbeschleunigungsfunktionen haben wir eine neue Lösung auf den Markt gebracht, die sich aus Byte-intern HDFS entwickelt Der Dateisystemdienst heißt CloudFS . Die gesamte technische Architektur von CloudFS und die interne HDFS-Architektur sind im Wesentlichen ein produktives, miniaturisiertes und mandantenfähiges Paket derselben Komponentengruppe in der Cloud.

CloudFS Zusätzlich zu den Speicherbeschleunigungsfunktionen unterstützt es auch den nativen HDFS -Modus und Multi-Data Fähigkeit zur Quellenaggregation. Die Basis unterstützt derzeit Objektspeicher und NAS . Sie befindet sich noch in der Anpassung Entwicklungsstadium und hat verschiedene Ökologie- und Vulkane von Big Data und KI-Schulungen im oberen Schichtgeschäft miteinander verbunden. Einige technische Produkte von Engine usw.

Metadatenbeschleunigung

Im obigen Beispiel können Sie aus der Perspektive des Trainingscontainers sehen, dass der Datensatz zwei Objekte enthält. Die Ansicht der Verzeichnisbaumstruktur des Datensatzes stimmt mit der Ansicht der Verzeichnisstruktur des Objektspeichers der untersten Ebene überein. Das grundlegendste technische Merkmal ist die Notwendigkeit, die Verzeichnisstruktur des Objektspeichers zwischenzuspeichern und bei Bedarf abzurufen. Im Metadatendienst wird die Verzeichnisbaumstruktur des Objektspeichers kopiert, jedoch in der Verzeichnisbaumhierarchie statt in der flachen Verzeichnisstruktur des Objektspeichers gespeichert. Darüber hinaus abonnieren wir Objektspeicher-Ereignisbenachrichtigungen, um aktive Updates zu unterstützen. Aktive Ereignisbenachrichtigungen und passive On-Demand-Pulls stellen die Konsistenz der gesamten Metadaten so weit wie möglich sicher. Wenn derselbe Bucket außerdem mehrmals gemountet wird, kann es zu doppelten Objekten kommen. Wir haben dasselbe Objekt auf Metadatenebene dedupliziert, um die Cache-Speicherplatznutzung zu maximieren.

Datenebenen-Cache

Als nächstes stellen wir das Caching der gesamten Datenebene vor. Wir unterteilen das Objekt in mehrere Datenblöcke, und jeder Datenblock kann mehrere Replikate haben. Wie in der Abbildung oben gezeigt, sind R1 und R2 zwei Replikate derselben Datenbank. Die datenseitige Caching-Strategie ist relativ langsam. Die Daten werden nur abgerufen, wenn zum ersten Mal auf Benutzerdaten zugegriffen wird. Außerdem wird eine adaptive Anzahl von Kopien unterstützt, die auf der Geschäftslast der gesamten Kopie und der Geschäftslast der aktuellen Kopie basiert Cache-Knoten. Unterstützt die adaptive Kopienanzahl, sodass die Anzahl der Kopien entsprechend dem Druckwert des Unternehmens selbst angepasst werden kann. In Bezug auf die Cache-Verwaltungsstrategie wird der ARC-Cache-Algorithmus übernommen, der mehr Daten speichern und sicherstellen kann, dass Hotspot-Daten im Cache gespeichert werden können.

Darüber hinaus unterstützen wir auch den Vorheizmechanismus, da viele Benutzer alle ihre Daten im Cache speichern müssen, bevor sie den Job ausführen, sodass sie beim späteren Starten des Jobs nicht warten müssen. Die spezifische Vorwärmmethode ist die Verteilung einer großflächigen vorgewärmten Kopie basierend auf dem P2P-Protokoll. Beim Schreib-Caching kann ein Multi-Copy-Schreib-Caching-Mechanismus asynchron asynchron /synchron zur Basis zurückschreiben. Nachdem beispielsweise ein Block geschrieben wurde, wird er sofort im Objektspeicher aktualisiert. Bei Objekten im Objektspeicher können Sie die Aktualisierung der Dateilänge oder des Inhalts jedoch nur auf der Basis sehen, wenn die Datei geschlossen wird.

FUSE-Transformation des Geschäftseingangs

Wir haben einige Änderungen am FUSE -Eingang vorgenommen, um seine Stabilität zu verbessern. Die erste ist die Transformation von FUSE virtio. /dev/fuse wurde ersetzt, was die Leistung erheblich verbesserte. Gleichzeitig wurden bestimmte Hochverfügbarkeitsgarantien für den FUSE-Prozess übernommen: Nach einem Absturz und Neustart von FUSE kann der vorherige Zustand in Echtzeit wiederhergestellt werden. Für das Unternehmen IO kann es also etwas stecken bleiben, aber die obere Schicht bleibt nicht hängen und kann weiterlaufen. Es gibt viele Trainingsjobs, deren gleichzeitige Ausführung lange dauert, daher ist die Stabilität der Trainingsjobs immer noch relativ groß. Darüber hinaus unterstützt FUSE auch Page Cache, um die Nutzung der Systemspeicherressourcen zu maximieren. Die letzte Funktionsoptimierung besteht darin, Schließdateien zu synchronisieren. Da die ursprüngliche Lösung von FUSE auf /dev/fuse basiert, werden beim Schließen von Dateien die zugrunde liegenden Dateien tatsächlich asynchron geschlossen. Auf dieser Grundlage haben wir eine synchrone Schließdatei erstellt. Unterstützt, was eine bessere Gewährleistung gewährleistet Dateisichtbarkeit. Natürlich erfordert dieser Teil der Transformation zunächst die Installation eines Kernel -Moduls, daher ist derzeit im Volcano-Betriebssystem das standardmäßige veLinux-Betriebssystem vorhanden integriert. Bei anderen Systemen müssen Sie möglicherweise einige Module installieren, um diese Funktion zu aktivieren.

Geschäftspraxis – Schulungsbeschleunigung auf der AML-Plattform

In der Trainingsbeschleunigungspraxis der Volcano Engine AML-Plattform, weil< a i=4>GPU Es gibt viele Maschinenmodelle, einige verfügen über lokale Festplatten und andere nicht. Daher ist es für Trainingsszenarien ohne lokale Festplatten erforderlich, etwas serverseitigen beschleunigten Speicherplatz bereitzustellen Unterstützung; und Bei Modellen mit lokalen Festplatten muss die lokale Festplatte auf der beschleunigten GPU-Maschine übernommen werden. Daher stellt die Beschleunigungseinheit DataNode im Wesentlichen eine Form zwischen halbverwaltet und vollständig verwaltet dar. Es handelt sich häufig um ein gemischtes Nutzungsszenario.

Also haben wir die Steuerungsebene und die Metadatendienste auf der CloudFS -Serverseite erstellt, die auch die Beschleunigungseinheit DataNode unterstützen kann. Der DataNode auf der Serverseite wird jedoch bei Bedarf erstellt. Wenn der ECS GPU Maschine =6> Wenn eine lokale Festplatte mit ausreichender Beschleunigungsfähigkeit vorhanden ist, müssen keine Steuerungsebene und kein Metadatendienst erstellt werden. Wenn der Server zum Erweitern der Cache-Kapazität verwendet werden muss, kann er auch erweitert werden Echtzeit. Die Beschleunigungseinheit DataNode ist über ENI mit dem Unternehmensnetzwerk verbunden, sodass kein Verlust der gesamten Cache-Bandbreite auftritt.

Geschäftspraxis – Beschleunigung des Data Lake Multi-Cloud-Managements

Big Data-Geschäft im Hybrid Cloud -Szenario In üben , CloudFS als VulkanCloud NativeDie Komponenten der Computerplattform, werden im privaten Computerraum des Kunden bereitgestellt. Wir haben die Objekt-Buckets anderer Cloud-Anbieter angepasst und können aus der Ferne Öffentliche CloudObjekt-BucketEinige neueDatenBeschleunigung/Aufwärmen im Computer Raum dieser Privatabteilung. Auf dieser Grundlage kann das jeweilige Unternehmen die anschließende Big-Data-Verarbeitung im privaten Computerraum abschließen.

Im ersten Teil der Testarbeit wurde ein einfacher Test zum IO -Streaming in Kombination mit der Caching-Funktion und Seite -seitige Metadaten-Cache aktiviert ist, kann dieses Datenergebnis höher sein. FUSE erreicht werden, sind nur 32 Parallelitäten erforderlich, um 8800 Bilder/Sekunde zu erreichen. Wenn der Seiten-Cache oder der Cache-Treffer ermöglicht einige Vergleiche. Wenn keine Vorwärmung erfolgt, muss der erste Durchgang aus dem Objektspeicher gelesen werden, und der Gesamtbedarf an geschäftlicher Parallelität ist höher. Wenn die Parallelität 256 erreicht, kann das gesamte Bild/Sekunde mehr als 6.000 erreichen, was sehr hohe Anforderungen an die Parallelität stellt. Wenn alle Cache

Der zweite Teil des Tests basiert auf diesem Datensatz, nachdem einige einfache Aufgabenlasten basierend auf Lernen und Training ausgeführt und mit Goofys verglichen wurden. Unabhängig davon, ob es sich um einen Epoch-Cache-Treffer handelt oder nicht, wird die Leistung erheblich verbessert. Nur weil die erste Epoche aus dem zugrunde liegenden Speicher abgerufen wird, ist die Leistungsverbesserung nicht sehr offensichtlich. Nach allen Cache-Treffern wird die Leistung mehr als verdoppelt.

Zukunftsplan

Zukünftige Pläne umfassen hauptsächlich drei Aspekte:

Der erste Schritt besteht darin, mit dem Polieren der NAS -Basis fortzufahren;

Die zweite besteht darin, eine detailliertere Cache-Optimierung zu erreichen.

Schließlich wird ein feinkörniger elastischer Skalierungsmechanismus für den Cache eingerichtet.

Fragestunde:

F: Welche Szenarien erfordern CloudFS Beschleunigung, HDFS ? Wie ist die Beschleunigungsleistung?

A: Welche Szenarien eine Beschleunigung erfordern, hängt davon ab, ob ein Engpass in der zugrunde liegenden Bandbreite vorliegt. Wenn die Bandbreite zwischen dem Computerdienst und dem HDFS -Cluster ausreichend ist und QPS ist erforderlich. Es ist nicht zu hoch, sodass keine Speicherbeschleunigung erforderlich ist. Aber wenn es wie in einer öffentlichen Cloud ist, beträgt die Bandbreite des Objektspeichers ist oft Es ist begrenzt, und QPS hat im Allgemeinen eine Grenze. Wenn es die Geschäftsanforderungen nicht erfüllen kann, ist eine solche Beschleunigung erforderlich.

F: Wie erfolgt die elastische Cache-Skalierung?

A: Wir optimieren immer noch. Die Gesamtidee ist eigentlich sehr einfach. Sie hängt immer noch von der Geschäftslast ab. Wenn die Bandbreite relativ gering ist, entfernen Sie einige Knoten der Beschleunigungseinheit. Wenn die Last einen Schwellenwert erreicht, erweitern Sie die Kapazität mehrerer Beschleunigungseinheitsknoten, da diese Volcano ECS verwenden. Dieser Mechanismus basiert tatsächlich auf ECS. Stellen Sie sicher, dass Flexibilität dieser Bandbreitenressource.

F: CloudFS Wie viele iNode-Metadaten können maximal gespeichert werden? Haben zu viele Auswirkungen auf die Verfügbarkeit und Stabilität des Clusters?

A: Die aktuelle Skalengrenze liegt bei 5 Milliarden. Stabilitätsbezogene Probleme wurden in der verteilten Metadatenarchitektur von byte internal HDFS behoben.

Volcano Engine Cloud Native Storage-Beschleunigungspraxis