Alibaba Cloud E-MapReduce eröffnet vollständig das Zeitalter der Serverlosigkeit

Von Daten bis hin zu großen Modellanwendungen: Am 25. November fand die Hangzhou Yuanchuang-Konferenz statt, um Entwicklungstipps auszutauschen.

Autor : Li Yu – Leitender technischer Experte und EMR-Direktor von Alibaba Cloud

EMR 2.0-Plattform

Es ist ein Jahr her, seit Alibaba Cloud die Cloud-native Open-Source-Big-Data-Plattform EMR 2.0 offiziell veröffentlicht hat. Jetzt ist die neue EMR 2.0-Plattform vollständig in der Produktion implementiert und macht mehr als 60 % der Ressourcen aus. Der Grund, warum die EMR 2.0-Plattform so schnell in der Produktion implementiert wurde, liegt darin, dass ihre Erfahrung umfassend verbessert wurde und, was noch wichtiger ist, eine umfassende Kostensenkung und Effizienzsteigerung für die Kunden erreicht wurde.

Die EMR 2.0-Plattform erreicht Kostensenkung und Effizienzsteigerung hauptsächlich aufgrund von vier Kernfunktionen

Extreme Flexibilität

Die EMR 2.0-Plattform bietet ultimative Flexibilität, vor allem in zwei Aspekten. Die erste besteht darin, präemptive Instanzen zu unterstützen. Kunden können die Priorität der Verwendung präemptiver Instanzen festlegen. Eine einzelne Knotengruppe kann bis zu 10 verschiedene Spezifikationen auswählen. Die Kostenoptimierungsstrategie unterstützt die automatische Auswahl von Instanzspezifikationen mit niedrigem Preis für die Gebotsabgabe. Wenn nicht genügend präemptive Instanzen vorhanden sind In einigen Fällen werden Kunden mit nutzungsbasierten Pay-as-you-go-Instanzen ergänzt, wobei sowohl Kosten als auch Geschäftsergebnisse berücksichtigt werden. Das zweite ist die extrem schnelle Reaktionsfähigkeit. Es unterstützt die parallele Erweiterung innerhalb einer einzelnen Knotengruppe und zwischen Gruppen mit mehreren Knoten, unterstützt die parallele Erweiterung während der Kapazitätsreduzierung und unterstützt plötzliche Geschäftsänderungen. Außerdem wurde die Reaktionsfähigkeit erheblich verbessert und die Erweiterung verbessert Die Geschwindigkeit nimmt mit zunehmender Anzahl von Knoten nicht zu. Darüber hinaus beträgt die Expansionszeit von 100 Knoten weniger als 2 Minuten und der Erkennungszeitraum des Elastizitätsindikators weniger als 30 Sekunden, wodurch besser auf Laständerungen reagiert werden kann Eine einzelne Erweiterung kann 1.000 Knoten erreichen.

Intelligente Diagnose

Die EMR 2.0-Plattform verfügt über intelligente Diagnosefunktionen. Durch den Cluster-Tagesbericht und die Echtzeit-Erkennungsfunktionen von EMR Doctor kann der Kerneffekt der Vermeidung von Ressourcenverschwendung, frühzeitiger Risikowarnung sowie Echtzeitanalyse und -empfehlungen erreicht werden: durch den Cluster täglich Mit der Berichtsfunktion des Gesundheitsprüfungsdienstes können Sie überprüfen, ob im Cluster Ressourcenverschwendung vorliegt. ; Ordnen Sie die Top N anhand der Aufgabenbewertungen, um die Jobs zu finden, die die meisten Ressourcen für die Optimierung verschwenden; maximieren Sie die Ressourcennutzung und vermeiden Sie Verschwendung durch kontinuierliche Arbeit Optimierung.

Neue Hardware-Unterstützung

Die EMR 2.0-Plattform unterstützt Etian ECS-Instanzen vollständig, wodurch die Kosten im Vergleich zu X86-Instanzen um mehr als 20 % gesenkt werden. Darüber hinaus wurden auf Software- und Computing-Engine-Ebene eine Reihe von Optimierungen für den ARM-Befehlssatz vorgenommen, die zu einer höheren Leistung und einer geringeren CPU-Auslastung führen. Unter dem typischen TPC-DS-Big-Data-Benchmark kann die Leistung weiter verbessert werden um 1/4, was bedeutet, dass durch den Einsatz der neuen EMR2.0-Plattform und Etian-Instanzen zum Aufbau eines Big-Data-Clusters eine Kostenreduzierung von 40 % erreicht werden kann.

Optimierung der Ressourcenzuteilung

Die EMR 2.0-Plattform bietet Funktionen zur Optimierung der Ressourcenzuteilung. Obwohl die Big-Data-Last dynamisch ist, weist sie innerhalb eines bestimmten Zeitraums auch eine gewisse Periodizität auf. Die EMR 2.0-Plattform bietet HBO-Funktionen, analysiert Nutzungsspitzen und -tiefs auf der Grundlage der historischen Nutzung und empfiehlt günstigere Prepaid- (jährliche und monatliche feste Ressourcen) und Postpaid-Verhältnisse (flexible Ressourcen basierend auf dem Volumen). Visualisieren Sie die Nutzung und Rechnungen fester und elastischer Ressourcen, verfolgen Sie historische Nutzungskurven und messen Sie die Kostenleistung intuitiver vor und nach Anpassungen der Ressourcenzuteilung.

Basierend auf der Optimierung in den oben genannten vier Aspekten haben Kunden, die die EMR 2.0-Plattform nutzen, tatsächlich eine Kostensenkung und Effizienzsteigerung in der Produktion erreicht. Das EMR-Team begann außerdem weiter darüber nachzudenken, ob es Probleme gibt, die beim Aufbau von Big-Data-Lösungen mithilfe von ECS-Clustern schwer zu lösen sind.

Ist es schwierig, das Problem der EMR-Clusterform zu lösen?

Studierende mit Erfahrung im Betrieb und in der Wartung physischer Maschinen sollten wissen, dass die Auslastung des gesamten Clusters sehr hoch ist, wenn die CPU- und Speicherauslastung 70 % überschreitet. Wenn daher die Gesamtauslastungsrate der Ressourcen in der Produktion 70 % erreichen kann, kann davon ausgegangen werden, dass die Ressourcenauslastungsrate des gesamten Clusters relativ hoch ist. Wenn Sie anhand der Ressourcenauslastungsrate von 70 % beurteilen, ob die Ressourcen des Clusters vollständig ausgelastet sind, werden Sie ein Phänomen beobachten. 10 % der Online-Cluster-Ressourcen sind vollständig ausgelastet und 90 % der Cluster-Ressourcenauslastungsraten liegen unter 70 %. Darüber hinaus wurde beobachtet, dass die Gesamtressourcenauslastungsrate von mehr als 30 % der Cluster weniger als 50 % betrug und es keine offensichtlichen Ressourcenspitzen und -täler gab, sondern nur die tägliche Gesamtauslastungsrate. Darüber hinaus ist es angesichts der dynamischen Änderungen der Geschäftslast und der extrem hohen Anforderungen an Ressourcenplaner in Form von Clustern unerlässlich, vollständig serverlos zu werden, wenn Sie die Ressourcennutzung weiter verbessern möchten. Vor dem oben genannten Hintergrund hat das Alibaba Cloud EMR-Team im vergangenen Jahr große Fortschritte bei serverlosen Produkten gemacht.

Serverlose EMR-Produkte

(Alibaba Cloud EMR Data Lake Warehouse-Architektur)

Serverloses EMR-Notebook

Das Bild oben zeigt die Alibaba Cloud EMR Data Lake Warehouse-Architektur. Werfen wir zunächst einen Blick auf die Datenentwicklungsschicht. Die Datenentwicklungsschicht ist in zwei Aspekte unterteilt: Entwicklung und Planung. Im Hinblick auf die Datenentwicklung hat EMR Serverless Notebook auf den Markt gebracht, ein gebrauchsfertiges Produkt, das keinen Betrieb und keine Wartung erfordert und umfassende Benutzerberechtigungen sowie Sicherheitsfunktionen auf Unternehmensebene bietet. Benutzer können sehr gängige Notebook-Jobs wie SQL und Python entwickeln. Darüber hinaus ist EMR Serverless Notebook nahezu vollständig mit den Funktionen von HUE kompatibel, historische Geschäfte können nahtlos migriert werden und es unterstützt auch die nahtlose Verbindung mit verschiedenen Formen von EMR-Clustern. Es wird noch getestet und interessierte Benutzer können sich auf der offiziellen Website von EMR für eine Testversion bewerben.

Serverloser EMR-Workflow

Im Hinblick auf die Daten-Workflow-Planung hat EMR Serverless Workflow eingeführt. Bei diesem Produkt handelt es sich außerdem um ein vollständig verwaltetes Produkt, das sofort einsatzbereit ist und keinen Betrieb und keine Wartung erfordert. Es ist vollständig kompatibel mit Apache DolphinScheduler und bietet außerdem Benutzerberechtigungen und Sicherheitsfunktionen auf Unternehmensebene. Darüber hinaus kann es elastische Skalierungsfunktionen bereitstellen, wenn die Planungslast zunimmt und abnimmt, kann nahtlos mit verschiedenen Formen von EMR-Clustern verbunden werden und unterstützt die Entwicklung verschiedener Big-Data-Jobs, einschließlich Spark und Flink. Interessierte Benutzer können zu EMR gehen Die Workbench ist direkt zum Testen geöffnet.

Werfen wir als Nächstes einen Blick auf die Computerebene. Normalerweise unterteilen wir Big-Data-Computing in drei Kategorien: Stapelverarbeitung, Stream-Verarbeitung und interaktive Olap-Analyse. Das gängige Produkt für die Stream-Verarbeitung ist Flink, und Alibaba Cloud hat eine Echtzeit-Computing-Flink-Version auf den Markt gebracht. EMR hat entsprechende Produkte in den beiden Richtungen Batch Processing und Olap auf den Markt gebracht.

EMR Serverless Spark

Datenentwicklungsplattform aus einer Hand

EMR Serverless Spark bietet eine One-Stop-Datenentwicklungsplattform. Auf dieser One-Stop-Datenentwicklungsplattform können Benutzer problemlos SQL-Jobs entwickeln und auch problemlos Testläufe und Debugging durchführen. Nach Abschluss des Debuggings werden Online- und Ein-Klick-Operationen unterstützt release und bietet außerdem integrierte Funktionen zur Workflow-Orchestrierung. Benutzer können Workflows basierend auf entwickelten SQL-Jobs orchestrieren und eine regelmäßige Planung für den Workflow durchführen. Nachdem der Workflow orchestriert und geplant wurde, werden auch zwei Dimensionen bereitgestellt: Workflow und Aufgaben. Und relativ umfassende Überwachungs-, Betriebs- und Wartungsfunktionen. Benutzer können den Status jeder Workflow-Ausführung in der Workflow-Dimension sehen, z. B. welcher Knoten bei der Ausführung fehlgeschlagen ist, und auf den fehlgeschlagenen Knoten klicken, um den Grund für den Fehler anzuzeigen. Darüber hinaus unterstützt es auch intelligente Diagnosen. Wenn beispielsweise ein Spark-Job einen Datenversatz oder ein gleichzeitiges Daten-GC-Problem aufweist, kann die intelligente Diagnosefunktion Benutzern helfen, das Problem schneller zu lösen.

Native Engine der Enterprise-Klasse

Zusätzlich zur One-Stop-Datenentwicklungsplattform wurde EMR Serverless Spark auch im Kernel optimiert. Die erste ist die native Engine-Optimierung auf Unternehmensebene, eine vektorisierte Ausführungs-Engine, die auf nativen Operatoren und SIMDJson-Optimierung basiert; unterstützt hochleistungsfähiges spaltenorientiertes Shuffle, das die Menge an Shuffle-Daten um bis zu 40 % reduzieren kann; Optimierung der Befehlssatzgranularität für verschiedene Anweisungen Sets, einschließlich der Optimierung fortschrittlicherer Komprimierungs- und Dekomprimierungsalgorithmen wie zstd; schließlich bietet es auch eine native C++-Schnittstelle für die Verbindung mit dem Lake-Format und dem OSS-HDFS-Speicher und sorgt so für eine durchgehend hohe Leistung. Die linke Seite der folgenden Abbildung stellt einen Vergleich zwischen EMR Native Engine und Apache Spark3.3 im TPC-DS 10 TB-Benchmark dar. Es ist ersichtlich, dass die Native Engine auf Unternehmensebene mehr als das Dreifache der Leistung von Open Source erreichen kann Motor.

RSS-Unterstützung der Enterprise-Klasse

EMR Serverless Spark bietet RSS-Unterstützung der Enterprise-Klasse. Wie wir alle wissen, erfordert die cloudnative und serverlose Stapelverarbeitung die Entfernung lokaler Status- und Speicherabhängigkeiten, und ESS muss für die Verwendung des Remote-Shuffle-Dienstes konvertiert werden. Die von EMR Serverless Spark bereitgestellte RSS-Unterstützung auf Unternehmensebene basiert auf Apache Celeborn. Dabei handelt es sich auch um eine RSS-Software, die vom Alibaba Cloud EMR-Team an den Apache-Inkubator gespendet wurde. Sie wird derzeit von vielen in- und ausländischen Unternehmen im gesamten Ökosystem verwendet. einschließlich ausländischer Linkedin und Shopee. , inländischer NetEase und Bilibili. Aufgrund der vollständigen Kompatibilität mit Celeborn bietet EMR Serverless Spark auch Multi-Tenant-Funktionen auf Unternehmensebene und unterstützt Sicherheitsisolation auf Unternehmensebene. Darüber hinaus wurden durch die Nutzung der internen Produktionspraktiken von Alibaba umfassende Verbesserungen in Bezug auf Großformat, hohe Leistung und umfassende Funktionalität erzielt. Die linke Seite der folgenden Abbildung zeigt den Leistungsvergleich von Remote Shulfe Service im Vergleich zu ESS. Sie können sehen, dass es eine sehr offensichtliche Verbesserung gibt.

Pay-as-you-go und ultimative Flexibilität

Darüber hinaus unterstützt EMR Serverless Spark Pay-as-you-go und extreme Elastizität. Die neue Pay-as-you-go-Abrechnungsmethode durchbricht die herkömmliche Abrechnung nach Spezifikationen und berechnet die Kosten entsprechend der tatsächlichen Nutzung von Rechenressourcen und Speicherplatz. Die Rechenressourcen werden in CU gemessen und die Leistung von 1 CU entspricht 1 Core CPU 4 GB Arbeitsspeicher Unter denselben Regeln kann Serverless besser auf Laständerungen reagieren und so bis zu 50 % Kosten einsparen!

EMR Serverlesss StarRocks

EMR Serverless StarRocks wurde offiziell kommerzialisiert. Es handelt sich nicht nur um eine One-Stop-Anwendungsentwicklungsplattform, sondern kann auch verschiedene Szenarien der Data-Lake-Analyse vollständig abdecken. Es verfügt außerdem über Kernel- und Cloud-native-Funktionen auf Unternehmensebene.

StarRoks Manager-Steuerung auf Unternehmensebene

EMR Serverless StarRocks bietet StarRocks-Manager-Management und -Steuerung auf Unternehmensebene. Es unterstützt nicht nur die Verwaltung und Überwachung auf Instanzebene, sondern kann auch SQL-Entwicklungsabfragen aus einer Hand durchführen, unterstützt die langsame SQL-Profil-Abfrageanalyse und bietet außerdem intelligente Diagnose- und Analysefunktionen um Benutzern die bequemere Nutzung von StarRocks zu erleichtern. .

Unterstützung für Data-Lake-Analyseszenarios auf Unternehmensebene

EMR Serverless StarRocks bietet außerdem eine umfassende Unterstützung für Data-Lake-Analyseszenarien. Einerseits unterstützt es die Data-Lake-Abfragebeschleunigung, andererseits unterstützt es im traditionellen Data-Warehouse-Layer-ETL-Szenario als Olap-Engine der ADS-Schicht auch die Abfragebeschleunigung der DWD- und DWS-Schichten. EMR Serverless StarRocks erreicht eine On-Demand-Elastizität der zweiten Ebene in Data-Lake-Analyseszenarien auf Unternehmensebene mit 0 Last und 0 Kosten und bietet eine umfassende Lastanalyse und Diagnoseanalyse; durch Kerneloptimierung wird eine 3- bis 5-fache Verbesserung im Vergleich zu erreicht Open-Source-Trino und unterstützt Trino-kompatibel und Ein-Klick-Migration. Darüber hinaus ist die Leistung im Benchmark-Test deutlich besser als bei Open-Source-ClickHouse und Apache Doris; außerdem wurde im Hinblick auf die Abfragebeschleunigung auch die Cache-Verwaltung verbessert Die materialisierte Ansicht mit Erscheinungsbild auf Unternehmensebene kann die Schichtung des Lake Warehouse und das Cache-Verwaltungsmodul auf Unternehmensebene effektiv realisieren, unterstützt die Konfiguration von Hot Tables, Hot Partitions und anderen Eliminierungsstrategien und kann Leistung und Kosten entsprechend den Geschäftsszenarien ausgleichen.

Unterstützung für Materialized View ELT-Szenarios auf Unternehmensebene

EMR Serverless StarRocks bietet Unterstützung für Materialized View ELT-Szenarios auf Unternehmensebene. Wenn die Datenmenge nicht so groß ist, kann StarRocks zur Verarbeitung aller Pipelines verwendet werden, was den gesamten Geschäftsprozess erheblich beschleunigt. EMR Serverless StarRocks optimiert eine große Anzahl von Betreiber-Spill-Funktionen, um einen MPP-ETL-Modus auf Unternehmensebene bereitzustellen, um eine hohe Stabilität zu gewährleisten. Gleichzeitig nutzt es VVP CTAS/CDAS-Funktionen, um ein Full-Link-Echtzeit-Data-Warehouse zu erstellen; ein vollständiges Der Data Sink Connector unterstützt mehrere Lakes. Das Format basiert auf der ELT-Vollverknüpfung von DataLake und ermöglicht das Lesen, Schreiben und Verarbeiten von Lake-Daten aus einer Hand. Darüber hinaus wird die View Lineage-Funktion später eingeführt, um eine materialisierte View Lineage auf Unternehmensebene bereitzustellen Erstellen Sie bequemer Echtzeit-Data-Warehouses und können Sie auch basierend auf historischen Informationen optimieren und vollständigere, leistungsstärkere und stabilere materialisierte Ansichten empfehlen, um Benutzern dabei zu helfen, ihr Geschäft in ELT-Szenarien besser zu unterstützen.

Trennung von Speicherung und Berechnung und höchste Flexibilität

Neben der umfassenden Unterstützung von Data-Lake-Analyseszenarien unterstützt EMR Serverless StarRocks auch Speicher- und Rechentrennung auf Unternehmensebene sowie extreme Elastizitätsfunktionen. Im Rahmen der Speicher- und Computertrennungsarchitektur kann der zugrunde liegende OSS-Data-Lake-Speicher die Speicherkosten erheblich senken und gleichzeitig eine hohe Datenzuverlässigkeit gewährleisten. Darüber hinaus können mehrere Data WareHouse-Szenarien zwei virtuelle Data Warehouses erstellen, die auf denselben physischen Daten basieren. , eines wird verwendet für Das andere wird für hochdimensionale Abfragen verwendet. Die beiden Warehouses verfügen über eigene Caching-Strategien, wodurch die Geschäftsisolation und die SLA-Garantie erheblich verbessert werden. Darüber hinaus wird in Bezug auf die Leistung auf die Caching-Funktionen von EMR auf Unternehmensebene zurückgegriffen Serverlose StarRocks: Wenn der Cache aktiviert ist, sind Leistung, Speicherung und Berechnung grundsätzlich gleich. Wenn der Cache ausfällt, ist auch die Abfrageleistung relativ kontrollierbar.

Großes Data Lake Management DLF-Upgrade

Einheitliche Metadatenverwaltung

Erstens hat DLF in Bezug auf die Metadatenverwaltung eine Leistungsverbesserung um das 2,5-fache erzielt und eine einzelne Tabelle unterstützt 5 Millionen Partitionen. Außerdem wurde eine vollständig kompatible HMS-Funktion eingeführt, die die Fähigkeit von Hive MetaStore darstellt.

Einheitliche Berechtigungsverwaltung

Im Hinblick auf die zentralisierte Berechtigungsverwaltung ist es vollständig kompatibel mit der Ranger-Authentifizierung, unterstützt die Zugriffsüberwachung vollständig und unterstützt auch das Andocken an LDAP; im Hinblick auf die vollständige Szenario-Berechtigungsprüfung unterstützt es die Hive/Spark-Tabellenauthentifizierung, unterstützt die Dateiverzeichnisauthentifizierung usw kann auch an die gesamte Palette der EMR-Produkte angedockt werden. Komponenten.

Einheitliche Datenverwaltung

Auch im Bereich Data Governance wurde viel Arbeit geleistet. Im Hinblick auf das Lebenszyklusmanagement unterstützt es eine umfassende Analyse von Zugriffsprotokollen und Zugriffszeiten, identifiziert auf intelligente Weise heiße und kalte Daten, ermöglicht festgelegte Regeln und führt auf intelligente Weise eine heiße und kalte Schichtung und Archivierung durch, um bessere Kosten zu sparen; die Beschleunigung des Lake-Table-Formats ist ebenfalls möglich Vollständig unterstützte Formatbeschleunigung, umfassende Abdeckung häufig verwendeter Lake-Formate wie Paimon, Delta, Hudi, Iceberg usw.

Reibungslose Online-Migration

DLF unterstützt HMS-Migration, HDFS, S3-Migration, Dual-Run-Verifizierung und -Vergleich; unterstützt transparenten HDFS-Protokoll-Proxy. Erzielen Sie eine reibungslose Online-Migration, ohne Online-Anwendungen zu beeinträchtigen und ohne das Geschäft zu verändern. Während und nach dem Datenmigrationsprozess können Datenvergleiche und -verifizierungen in zwei Durchgängen durchgeführt werden, ohne dass Daten beschädigt werden.

Umfassendes Upgrade des Data Lake-Speichers OSS-HDFS

Der Data Lake Storage OSS-HDFS wurde ebenfalls vollständig aktualisiert. Derzeit sind mehr als 1.000 Kunden online und das Service-Speichervolumen übersteigt 100 PB.

Verbessern Sie die Leistung erheblich

Die Leistung des Metadatenzugriffs wurde um mehr als das Zweifache verbessert, und bei einigen spezifischen Vorgängen kann die Leistungsverbesserung das Zehnfache erreichen. Der E/A-Zugriff unterstützt intelligentes Vorauslesen, reduziert die Anzahl der Anfragen um mehr als 20 %, unterstützt effiziente Parallelität und reduziert die CPU-Auslastung um mehr als 30 %.

Ergreifen Sie mehrere Maßnahmen, um die Kosten zu senken

Vollständige Unterstützung für OSS-Archivierungsfunktionen, neue Unterstützung für Kaltarchivierung und kryogene Archivierung sowie Unterstützung für das direkte Lesen von Archiven ohne die Notwendigkeit einer Umkehrung; es verfügt außerdem über eine vollständige Verwaltung der hierarchischen Speicherung und archivierter Daten und unterstützt unbegrenzte Verzeichnisebene/Partitionsebene Archivierung und unterstützt die Verzeichniszugriffszeit. Effiziente Identifizierung heißer und kalter Daten.

Umfassender Datenschutz

Es bietet umfassende Sicherheitsunterstützung für Kerberos-Authentifizierung, Ranger-Authentifizierung, Prüfprotokolle und Dateninventarfunktionen. Es bietet außerdem Verzeichnisschutzfunktionen, unterstützt den Schutz bestimmter Verzeichnisse und vermeidet versehentliches Löschen. Außerdem unterstützt es eine detailliertere Verwaltung der Papierkorbbereinigung Politik.

Umfassende ökologische Open-Source-Kompatibilität

Es ist vollständig kompatibel mit HDFS, kompatibel mit der HDFS-Schnittstelle, unterstützt die Kompatibilität mit dem HDFS-Binärprotokoll und unterstützt HDFS-Befehle; es unterstützt auch den fsimage-Export.

Schließlich plant das Alibaba Cloud EMR-Team auch eine vollständig verwaltete Data-Lake-Cache-Beschleunigung. Es wird erwartet, dass wir uns im April nächsten Jahres mit Ihnen treffen. Seien Sie herzlich willkommen, aufmerksam zu sein.