| Softwaredefinierter Speicher ist ein Branchenentwicklungstrend, der sicherstellen kann, dass der Systemspeicherzugriff flexibler und auf einem präzisen Niveau verwaltet wird. In diesem Artikel wird die Datenbank-Cloudisierungspraxis des softwaredefinierten Speichers beschrieben, die in der Vorlesung letzten Donnerstag geteilt und zusammengestellt wurde. |
Was ist Software Defined Storage (SDS)?
Software Defined Storage (SDS) ist eine Datenspeichermethode, bei der die gesamte speicherbezogene Steuerungsarbeit in externer Software relativ zur physischen Speicherhardware untergebracht wird. Diese Software ist nicht als Firmware auf einem Speichergerät verfügbar, sondern auf einem Server oder als Teil des Betriebssystems (OS) oder Hypervisors.
Softwaredefinierter Speicher ist ein Branchenentwicklungstrend, der sicherstellen kann, dass der Systemspeicherzugriff flexibler auf einer präzisen Ebene verwaltet wird und Software vom Hardwarespeicher abstrahiert, was bedeutet, dass er zu einem gemeinsamen Pool werden kann, der nicht durch physische Systeme eingeschränkt wird. Für mehr Effizienz Nutzung von Ressourcen. Speicher kann auch über Software und Management bereitgestellt und bereitgestellt werden, und seine Verwaltungsverfahren können durch automatisiertes, richtlinienbasiertes Management weiter vereinfacht werden.
Was sind die Merkmale von Software Defined Storage?
Skalierbar. Das softwaredefinierte Speichersystem kann auf eine Clustergröße von Hunderten oder sogar Tausenden von Einheiten erweitert werden. Darüber hinaus steigt mit zunehmender Clustergröße die Gesamtleistung des Systems linear und bei geringen Kosten
. Die automatische Fehlertoleranz und der automatische Lastausgleichsmechanismus des softwaredefinierten Speichersystems ermöglichen den Aufbau auf gewöhnlichen X86-Servern. Darüber hinaus erleichtert die lineare Erweiterungsfähigkeit das Hinzufügen und Reduzieren von Maschinen und ermöglicht die Realisierung eines automatischen Betriebs und einer automatischen Wartung.
Hochleistung. Ob für einen gesamten Cluster oder einen einzelnen Server, verteilte Speichersysteme bieten eine hohe Leistung.
Traditionelles IT-Architekturmodell:
In der Vergangenheit wurden Datenbanken mit traditioneller Architektur auf Minicomputern und zentralisiertem SAN-Speicher ausgeführt. Mit der rasanten Geschäftsentwicklung nehmen das Transaktionsvolumen und das Datenvolumen von Geschäftssystemen zu und die Anforderungen an die Verarbeitungs- und Speicherkapazitäten von Geschäftssystemen werden immer höher. Die traditionelle Architektur weist eine schlechte Skalierbarkeit, eine begrenzte Rechenleistung und einen gravierenden Mangel an E/A-Funktionen auf. Um die entsprechenden Verarbeitungsfunktionen zu erreichen, ist es notwendig, die vorhandenen Minicomputer und Speicher durch Minicomputer mit höherer Konfiguration und High-End-Speicher zu ersetzen, was technisch gesehen der Fall ist komplex. Teuer. Gleichzeitig reicht die Leistung der Geräte mit zunehmendem Alter der Geräte zunehmend nicht mehr aus, um die Geschäftsanforderungen zu erfüllen, und eine Transformation und Aktualisierung der Geschäftssystemarchitektur ist zwingend erforderlich.
Einige Nachteile der traditionellen Architektur:
Datenmenge: M-Level –> G-Level –> T-Level –> Eine gewaltige Menge liegt vor Ihnen
Datenvolumen * Anzahl der Benutzer –> Anzahl der zugehörigen Benutzer: Zehntausende –> Hunderttausende –> Millionen –> das Internet ist vollständig offen
Der Schmerz relationaler Datenbanken
Das zentralisierte Speichersystem ist zu einem Engpass für den E/A-Zugriff geworden:
1. Datenbankknoten mit traditioneller Architektur erfordern leistungsstarke Hosts und sind kostspielig. Da bei RAC-Datenbanken mit mehreren Knoten die Kommunikationsbandbreite zwischen Knoten normalerweise 1 Gbit/s beträgt und die höhere Bandbreite 10 Gbit/s beträgt, führt diese Größenordnung der Bandbreite dazu, dass die gleichzeitigen Verarbeitungsfähigkeiten zwischen Knoten nicht vollständig genutzt werden. Gleichzeitig sind herkömmliche Festplatten-Arrays durch die Verarbeitungsleistung des Controllers und die Bandbreite des FC-Ports begrenzt. Der E/A-Durchsatz beträgt normalerweise nur einige hundert MB/s. Wenn die Datenbank eine große Anzahl von Lese- und Schreibvorgängen auf der Festplatte erfordert, ist die E/A Die Verzehrdauer ist zu lang.
2. Mit High-End-Speicher ausgestattete Minicomputer sind teuer, relativ geschlossen und weisen eine schlechte Skalierbarkeit auf: Die traditionelle Architektur weist eine schlechte Speicherskalierbarkeit auf, und wenn die Kapazität erhöht wird, verbessert sich die Leistung nicht entsprechend. Gleichzeitig sind die Expansionskosten hoch und der Expansionszyklus lang.
3. Komplexe Systeme bringen Komplexität in die Bereitstellung und den Betrieb, den Betrieb und die Wartung sowie das Management mit sich: Unter der traditionellen Architektur ist es notwendig, mehrdimensionale Betriebs- und Wartungskenntnisse und -fähigkeiten wie Datenbank, U.X., Speicher usw. zu verstehen stellt Anforderungen an das Betriebs- und Wartungspersonal. Extrem hoch, Einsatz und Betrieb, Betrieb und Wartung sowie Management sind äußerst komplex.
Entwicklungstrends der IT-Infrastruktur
Evolution der IT-Architektur – Chimney to Cloud
Die zweistufige Computing-Storage-Architektur weist die folgenden Nachteile auf:
Zentralisiertes Speichersystem
E/A-Zugriffsgrenze, hohe Erweiterungskosten
Komplexe Bereitstellung sowie Betrieb und Wartung
Unfähigkeit, schnell auf den Bedarf an IT-Personalressourcen zu reagieren
Vorteile einer cloudbasierten Hochleistungs- und Hochverfügbarkeitsarchitektur:
Hohe
Leistung, Elastizität, flexible mehrdimensionale dynamische Erweiterung
, einheitliches Betriebs- und Wartungsmanagement sowie verbesserte Datenwiederherstellung und -schutz
werden zu Verbesserungen der IT-Infrastrukturleistung und der CPU-Leistung der x86-Plattform führen. In den letzten 10 Jahren ist die CPU-Verarbeitungsgeschwindigkeit um das 8- bis 10-fache gestiegen; die DRAM-Verarbeitungsgeschwindigkeit ist um das 7- bis 9-fache gestiegen.
Speicher- und Netzwerkentwicklung
Als Reaktion auf die Entwicklung der IT-Infrastruktur und IT-Infrastruktur ist die verteilte Speicherlösung zData entstanden, die auf x86-Servern basiert und Flash-Speicherkarten und Infiniband-Switches verwendet und es Oracle RAC ermöglichen kann, eine hohe Verarbeitungsleistung und einen hohen E/A-Durchsatz zu erreichen Moment.
Der softwaredefinierte Speicher von zData basiert auf x86-PC-Servern, was die Systemleistung erheblich verbessert und die Systemskalierbarkeit und agile Reaktionsfähigkeiten bei deutlich geringeren Kosten als bei herkömmlichen Architekturen aufrechterhält. Die verteilte Speichersoftware zData Light Storage kann Tausende von Knoten unterstützen und die Speicherpoolkapazität kann 32 PB erreichen. Unterstützt Speicherressourcenpools, die aus verschiedenen Speichermedien bestehen. In der Grundkonfiguration (3 Speicherknoten) werden Millionen IOPS erreicht und der Durchsatz übersteigt 20 GB/s.
Implementierung:
1. Benutzer können Hardware selbst kaufen oder gebrauchte Hardware recyceln.
2. Yunhe Enmo bietet zData-Software und -Dienste, einschließlich Leistungs- und Kapazitätsplanung, zData-Best Practices, Datenbankmigration und -optimierung sowie allgemeine Wartung.
Lösungswert:
1. Offene Standard-x86-Architektur, die Lösung ist flexibel und praktisch.
2. Es besteht keine Notwendigkeit, High-End-Minicomputer und High-End-Speicher zu verwenden, und der Bau und die Erweiterung sind äußerst kostengünstig.
Produktstruktur:
zData Light Storage-Speicherverwaltungssoftware
zData Light Storage ist eine verteilte Speicherverwaltungssoftware, die unabhängig von Yunhe Enmo entwickelt wurde. Dabei handelt es sich um eine Reihe flexibler softwaredefinierter Speichersoftware, die den internen direkt verbundenen Speicher auf Basis von PC-Servern vollständig nutzt, um einen virtuellen und skalierbaren Speicherpool zu erstellen. Die Leistung ist externen herkömmlichen Fibre-Channel-SANs deutlich überlegen, während Kosten und Komplexität exponentiell reduziert werden. In zData können über die Speicherverwaltungssoftware zData Light Storage leistungsstarke x86-Server als Speicherknoten verwendet werden, sodass die internen Festplattenressourcen mehrerer Speicherknoten integriert werden können, um einen virtuellen SAN-Speicherressourcenpool zu bilden. Auf dem Datenbankknoten ( (Rechnerknoten) Sie können das virtuelle SAN verwenden, indem Sie den zData Light Storage-Client darauf installieren. zData Light Storage unterstützt das RDMA-Protokoll im Infiniband-Netzwerk, was die CPU-Auslastung erheblich reduziert und die Latenz beim E/A-Zugriff erheblich reduzieren kann. Es bietet beispiellose Leistungsvorteile. zData Light Storage unterstützt gängige Speichermedien, einschließlich PCIe, NVMe, SAS, SATA und andere Schnittstellen . SSD-Festplatten und -Karten sowie herkömmliche mechanische Festplatten mit SAS- und SATA-Schnittstellen.
Infiniband-Netzwerk
zData basiert auf einem 40- bis 100-GB-Infiniband-Hochgeschwindigkeitsnetzwerk und verfügt über eine vollständig redundante Netzwerkarchitektur. Einerseits kann es ausreichend Bandbreite für die Datenübertragung der Speicherverwaltungssoftware zData LightStorage bereitstellen, wodurch seine Leistung deutlich besser ist als bei herkömmlichen externen Geräten FC SAN, und die Kosten und Komplexität werden verdoppelt. Reduzieren; andererseits bietet es eine Garantie für leistungsstarkes Lesen und Schreiben des Oracle RAC-Clusters.
Intelligentes zData-Management-Tool zMan
Basierend auf dem Fachwissen von Yunhe Enmo und seinem starken Team im Oracle-Datenbankbereich haben wir ein humanisiertes Verwaltungs-, Betriebs- und Wartungstool zMan (zData Manager) entwickelt. zMan bietet intelligente und praktische Ein-Klick-Installations-, Bereitstellungs- und Verwaltungsfunktionen für zData ist extrem Es reduziert die Verwaltungs-, Betriebs- und Wartungskosten erheblich und bietet Benutzern ein einfacheres, bequemeres und benutzerfreundlicheres Betriebserlebnis in Bezug auf Verwaltungsfunktionen.
Der softwaredefinierte zData-Speicher von Yunhe Enmo weist die folgenden Eigenschaften auf:
Hochleistung
Speicherknoten und Rechenknoten sind über das Hochgeschwindigkeits-Infiniband-Netzwerk mit 40 bis 100 GB miteinander verbunden, und jede verbundene Verbindung kann Speicherdaten übertragen. Durch die Speicherverwaltungssoftware zDataLight Storage kann ein einzelner Speicherknoten bei Verwendung von Flash-Speicherkarten einen E/A-Durchsatz von mehr als 12 GB/s bereitstellen, IOPS (Festplatten-E/A-Anfragen pro Sekunde) können mehr als 400.000 erreichen und die Latenz beim Festplattenzugriff beträgt 0,6 ms . Der IO-Durchsatz auf einem einzelnen Rechenknoten erreicht mehr als 12 GB/s, IOPS (Festplatten-IO-Anfragen pro Sekunde) können mehr als 1 Million erreichen und die Festplattenzugriffsverzögerung liegt innerhalb von 0,6 ms. Die drei wichtigsten Speicherfunktionen sind mehr als zehnmal höher als bei herkömmlichen Arrays.
Mehrdimensionale dynamische Erweiterung
In der softwaredefinierten Speicherarchitektur von zData können Rechenknoten und Speicherknoten je nach Geschäfts- und Anwendungsanforderungen dynamisch erweitert werden, und Kapazität und Leistung steigen linear. Ebenso können Rechen- und Speicherknoten entsprechend den Geschäfts- und Anwendungsanforderungen dynamisch reduziert werden, um eine maximale Verfügbarkeit von Ressourcen sicherzustellen.
Ressourcenpooling und Cloudifizierung
In der softwaredefinierten Speicherarchitektur von zData werden Rechenressourcen und Speicherressourcen gebündelt, einheitlich verwaltet und bei Bedarf zugewiesen und erweitert.
Sicherheit und Zuverlässigkeit von Architektur und Software
Im softwaredefinierten Speicher von zData sind Server, Infiniband-Switches, Infiniband-HCA-Karten und PCIe-Flash-Speicherkarten alle redundant. Der Ausfall eines Geräts oder Knotens hat keinen Einfluss auf die Verfügbarkeit von Online-Diensten und es gibt keinen Single Point of Failure. Gleichzeitig verwaltet und wartet die Speicherverwaltungssoftware zData automatisch Speicherressourcen. Wenn ein Knoten im verteilten Speichernetzwerk beschädigt wird oder Speicherknoten verschoben oder hinzugefügt werden, rekonstruiert die Speicherverwaltungssoftware zData intakte Speicherblöcke auf bestehenden oder intakten Knoten.“, so dass jeder Speicher-„Block“ immer noch einen Spiegel hat, was die Datensicherheit gewährleistet. Die Rekonstruktionsgeschwindigkeit kann 2 TB pro Stunde erreichen und kann automatisch online ohne manuelles Eingreifen und ohne Beeinträchtigung des Online-Geschäfts betrieben werden.
Einheitliches Betriebs- und Wartungsmanagement zur Verbesserung der Ressourcennutzung
Die gesamten zData-Ressourcen werden einheitlich über die zdata-Managementplattform verwaltet und der automatisierte Betrieb und die Wartung reduzieren die Qualifikationsanforderungen für IT-Manager erheblich.
Das einzigartige intelligente Caching-Tool zCache des softwaredefinierten Yunhe Enmo zData-Speichers bietet die folgenden Funktionen:
• Unterstützt den Writeback- und Pass-Through-Modus
• Unterstützt das Online-Starten und Herunterfahren des Caches
• Unterstützt die automatische/manuelle Aktualisierung fehlerhafter Daten
• Unterstützt die dynamische Steuerung der Aktualisierungsfrequenz und der Geschwindigkeit schmutziger Blöcke
Anwendungsszenarien und Vorteile des softwaredefinierten Speichers von zdata:
1. Data Warehouse- und Reporting-Systeme (OLAP): Die Datenbanken dieses Systemtyps stellen sehr hohe Anforderungen an die E/A-Leistung und die Erweiterung der Speicherkapazität, aber keine hohen Anforderungen an Verfügbarkeit und Notfallwiederherstellung. Diese Art von System stellt neben dem Kernsystem in Unternehmensanwendungen ein zweitrangiges System dar. Wenn Sie den hochwertigsten zentralisierten Speicher mit großer Kapazität erwerben, sind die Kosten sehr hoch. Diese Art von System ist der beste Anwendungsfall für softwaredefinierte Speicherlösungen von zData.
2. Online-Transaktionsverarbeitungssysteme (OLTP): Diese Art von System stellt hohe Anforderungen an Echtzeitleistung und Parallelität, häufige Datenoperationen und entsprechend hohe Anforderungen an CPU und E/A. Da die softwaredefinierten Speicherlösungen von zData ausreichend Rechenleistung bereitstellen und die IO-Latenz deutlich reduzieren können, ist dieser Systemtyp auch das beste Einsatzszenario für softwaredefinierte Speicherlösungen von zData.
3. Datenbank-Cloudifizierung und -Integration: Einige große Unternehmen verfügen über eine große Anzahl von Datenbanken und müssen viele unwichtige Datenbanken integrieren, um die Komplexität und Kosten von Betrieb und Wartung zu reduzieren. Verwenden Sie die softwaredefinierte verteilte Speicherlösung zData, um eine Datenbank-Cloudisierungs- und Integrationsplattform zu erstellen, um die Leistung des integrierten Systems zu verbessern und die Flexibilität des Systems zu erhöhen (erleichtern Sie die Erweiterung), und verwenden Sie dazu das softwaredefinierte Speicherverwaltungstool zMan Einfache Wartung des integrierten Systems für Benutzer. . zData unterstützt die Cloudifizierung und Verwaltung von OpenStack- und VMware-Plattformen.
4. Datenbanksicherung und Notfallwiederherstellung unter der