Über Great Wall Intelligent New Energy
Great Wall Motors ist ein globales Unternehmen für intelligente Technologie, dessen Geschäftsfelder Automobil- und Teiledesign, Forschung und Entwicklung, Produktion, Vertrieb und Service umfassen. Es besitzt Pickup-Trucks der Marken Wei, Haval, Tank, Euler und Great Wall. Im Jahr 2022 verkaufte Great Wall Motors im Laufe des Jahres 1.067.523 Fahrzeuge, wobei der Absatz sieben Jahre in Folge die Marke von 1 Million Fahrzeugen überstieg. Great Wall Motors bietet Nutzern auf der ganzen Welt intelligente und umweltfreundliche Reisedienste und beschleunigt damit seinen Aufstieg zu einem globalen Unternehmen für intelligente Technologie. Die Durchdringungsrate intelligenter Modelle erreicht 86,17 %. Das Internet der Fahrzeuge, eine der beiden Hauptanwendungsrichtungen von Smartness, entwickelt sich in diesem Prozess rasant weiter.
Die Great Wall Internet of Vehicles-Plattform umfasst Busdatenberichte im Auto, Fernsteuerung, Fahrzeugkonfigurationsverteilung, Datei-Push, Nachrichten-Push, Betriebspflege und andere neue Internet of Vehicles-Dienste und realisiert die Entkopplung des Fahrzeugterminals und der Geschäftsplattform Geschäftsanbindung und -integration effizient abschließen.
Zu den Hauptszenarien gehören:
● Fahrzeugseitige Datenmeldung – Motor-, Positions-, Motor-, Fahrzeugdaten, Batterie, Alarm usw., die über tbox an die Plattform „Internet der Fahrzeuge“ gemeldet werden und an den gemeldeten Daten eine Datenverarbeitung, Berechnung und Begründung in Echtzeit durchgeführt wird B. zur Bereitstellung intelligenter Fahrzeugstatusabfragen, Alarme usw. dienen.
● Fernsteuerung – Mobiltelefon-Apps/Smart-Geräte integrieren die Funktionen der Internet-of-Vehicles-Plattform, um Fernsteuerung und -diagnose zu ermöglichen.
Das Folgende ist das Architekturdiagramm (schematisch) der Internet of Vehicles-Plattform.
Diagramm der Plattformarchitektur für das Internet der Fahrzeuge (schematisch)
Die Herausforderungen eines explosiven Wachstums
Die Internet of Vehicles-Plattform hat derzeit Millionen von Fahrzeugen vernetzt, wobei die Spitzenzahl bei einer Million Fahrzeugen online liegt. Die Menge der vom Fahrzeugterminal gemeldeten Signaldaten ist groß und die Häufigkeit des Hochladens hoch. Die Daten wachsen explosionsartig. Die Echtzeitverarbeitung und -analyse riesiger Datenmengen steht vor großen Herausforderungen.
An das System werden folgende Anforderungen gestellt:
1. Hohe Anforderungen an die Bearbeitungszeit
Aktualität von Abfragen, Analyse und Entscheidungsfindung, Überwachung und Alarmierung
2. Große Datenmenge und stabil
Verteilt, parallele Erweiterung, geringe Kopplung, hohe Verfügbarkeit, Datensicherheit
IoT-Geräte weisen in der Regel eine schwache Leistung auf, was die Verwendung beliebter traditioneller Messaging-Middleware erschwert. Grundsätzlich wird MQTT zur Nachrichtenübertragung in IOT-Geräten verwendet. Allerdings hat MQTT folgende Nachteile:
1. Nur Warteschlangen, keine Stream-Verarbeitung
2. Nutzungsspitzen können nicht bewältigt werden (keine Pufferung)
3. Die meisten MQTT-Broker unterstützen keine hohe Skalierbarkeit
4. Asynchrone Verarbeitung (normalerweise für längere Zeit offline)
5. Mangelnde gute Integration mit anderen Teilen des Unternehmens
6. Einzelne Infrastruktur (normalerweise am Rande)
7. Ereignisse können nicht erneut verarbeitet werden
Nur MQTT-Daten können verworfen werden, bevor sie verarbeitet werden können, und sie können den Herausforderungen, die die Echtzeitverarbeitung und -analyse großer Datenmengen mit sich bringt, nicht gerecht werden.
Lösung
Als verteilte Nachrichtenwarteschlange kann Kafka aufgrund seines Designs und seiner Funktionen wie Multipartitionierung, Nullkopie, Stapelverarbeitung und sequentielles Lesen und Schreiben eine Datenverarbeitung mit hohem Durchsatz erreichen. Gleichzeitig kombiniert es als Event-Streaming-Plattform Messaging, Speicherung und Datenverarbeitung, um eine hoch skalierbare, zuverlässige, sichere und Echtzeit-Infrastruktur aufzubauen. Aus Sicht des Internets der Fahrzeuge bietet es folgende Vorteile:
1. Stream-Verarbeitung, nicht nur Warteschlangen
2. Hoher Durchsatz
3. Großflächig
4. Hohe Verfügbarkeit
5. Langzeitspeicherung und Pufferung
6. Ereignisse, die erneut verarbeitet werden sollen
7. Gut integriert in andere Teile des Unternehmens
Die Kombination von Kafka und MQTT ist eine natürliche Wahl für den Aufbau einer skalierbaren, zuverlässigen und sicheren Infrastruktur für das Internet der Fahrzeuge. Daher wählt die Great Wall Internet of Vehicles Platform Kafka als Kernkomponente der Datenverarbeitung.
Der Broker-Cluster von MQTT wird dann mit dem Kafka-Cluster verbunden. Daten werden zunächst über MQTT vom Gerät gesammelt und dann zur anschließenden Engine-Analyse und -Verarbeitung an Kafka übergeben. Auch wenn die Verarbeitungsgeschwindigkeit nicht so hoch ist wie die Erfassungsgeschwindigkeit, gehen die Daten nicht verloren, da sie an Kafka übertragen wurden. Great Wall nutzt diese Lösung, um eine kontinuierliche Überwachung und Analyse des Status der Internet of Vehicles-Ausrüstung zu erreichen.
Der Bau eines eigenen Kafka bringt jedoch steigende F&E- sowie Betriebs- und Wartungskosten mit sich:
Zuallererst müssen F&E-, Betriebs- und Wartungspersonal, das Probleme löst, über solide Computerkenntnisse verfügen (mit Computernetzwerken, E/A usw. vertraut), ein tiefes Verständnis der zugrunde liegenden Prinzipien von Kafka, verschiedener Konfigurationsparameter usw. haben und ausführen können Kafka-Cluster-Parameteroptimierung und schnelle Bewältigung plötzlicher Ausfälle, Wiederherstellung von Cluster-Jitter und dynamische Durchführung von Cluster-Erweiterungen und -Kontraktionen usw.
Zweitens müssen einerseits mehr Personal- und Materialkosten investiert werden, andererseits muss der Zustand des Clusters jederzeit überwacht werden und Probleme können rechtzeitig behoben werden, um den stabilen Betrieb des Clusters sicherzustellen Geschäft.
Schließlich weist die selbst erstellte Nachrichtenwarteschlange Mängel in Bezug auf Skalierbarkeit und Wartbarkeit auf. Wenn das Volumen der Geschäftsnachrichtendaten ein bestimmtes Niveau erreicht, verursacht der selbst erstellte Nachrichtenwarteschlangencluster verschiedene Probleme, und die Lösung des Problems wird eine große Herausforderung mit sich bringen .
Hier ein paar einfache Beispiele:
● Wenn im Cluster eine Anomalie auftritt, ist es aufgrund unvollständiger Überwachungsindikatoren und unangemessener Protokollausgabe schwierig, das Problem zu beheben und zu lokalisieren. Das Problem kann nur gelöst werden, indem das Geschäft unterbrochen und der Kafka-Cluster neu gestartet wird, was größere Auswirkungen auf das Geschäft haben wird.
● Die Cluster-Erweiterung von Kafka ist äußerst komplex. Bei der Migration während Geschäftsspitzen kann die Partitionsmigration stecken bleiben.
● Es ist schwierig, ZK in selbstgebauten Clustern zu betreiben und zu warten, und ZK weist eine hohe Auslastung auf, was zu häufigen Abschaltungen von ZK führt.
Nach der Kommunikation mit dem technischen Team von Tencent Cloud verfügt CKafka (Cloud Kafka) als Version von Kafka in der Cloud über ein vollständiges Überwachungs- und Alarmsystem sowie ein Betriebs- und Wartungsauftragssystem und bietet starke Vorteile in Bezug auf Leistung, Skalierbarkeit und Geschäftssicherheit , Betrieb und Wartung usw. Sie können sich über niedrige Kosten, hohe Leistung und umfangreiche Funktionen freuen und gleichzeitig mühsame Betriebs- und Wartungsarbeiten vermeiden.
Die Internet-of-Vehicles-Plattform nutzt CKafka, eine leistungsstarke, skalierbare verteilte Nachrichtenwarteschlangen-Engine mit hohem Durchsatz, um Geschäftsentkopplung, Spitzenlastreduzierung und Talfüllung sowie asynchrone Datenverarbeitung zu erreichen und so eine hohe Geschäftszuverlässigkeit zu erreichen.
Datenberichtsszenario
Von Fahrzeugen generierte Echtzeitdaten (z. B. GPS-Standort, Geschwindigkeit, Kraftstoffverbrauch usw.) werden über CKafka gesammelt, übertragen und verteilt, wodurch mehrere Datenflüsse realisiert werden, um den Anforderungen mehrerer Szenarien gerecht zu werden.
Echtzeitberechnungsteil
Über den von Flink bereitgestellten Kafka-Connector werden die Streaming-Daten von Flink-Betreibern verarbeitet und in die hochleistungsfähige spaltenbasierte Clickhouse-Datenbank übertragen, um Aktualisierungsdaten in Echtzeit zu analysieren. Dieser Prozess bietet eine Semantik für die einmalige Verarbeitung, während die CKafka-Mehrfachpartitionierung einen höheren Durchsatz bietet und Datenversatz und Hotspots reduziert.
Fahrzeugstatusdaten wie Fahrzeugausfälle und ungewöhnliches Verhalten können durch Echtzeitanalysen schnell erkannt und behoben werden.
Offline-Analyseteil
Durch Protokollerfassungssysteme wie Flume können umfangreiche Protokolldaten in CKafka effizient erfasst, aggregiert, verschoben und schließlich in HDFS oder Hbase gespeichert werden. Wenn in der Produktions- und Verarbeitungsverbindung die Produktions- und Verarbeitungsgeschwindigkeit inkonsistent ist, kann CKafka als Cache fungieren. Durch die Partitionsstruktur und die Verwendung von Append zum Anhängen von Daten verfügt CKafka über hervorragende Durchsatzfähigkeiten. Gleichzeitig verfügt es über eine Replikationsstruktur, die CKafka äußerst fehlertolerant macht.
Fahrzeugdaten werden offline analysiert und ausgewertet. Die Analyseergebnisse können zur Optimierung der Fahrzeugleistung, zur Verbesserung der Fahrsicherheit, zur Reduzierung des Energieverbrauchs usw. verwendet werden.
Szenario der Befehlserteilung
Im Befehlsausgabeszenario akzeptiert CKafka Remote-Befehle und Antwortergebnisse und bietet asynchrone Kopplungs-, Peak-Shaving- und Valley-Filling-Funktionen für mehrere Upstream- und Downstream-Systeme. Gleichzeitig können Nachrichtenpersistenz und nachverfolgbare Produktfunktionen die endgültige Konsistenz gewährleisten der Befehlsstatus. Geschlecht.
Geschäftsvorteile durch den Einsatz von CKafka
Im Vergleich zu selbstgebautem Kafka verfügt CKafka über ein vollständiges Überwachungs- und Alarmsystem sowie ein Betriebs- und Wartungsauftragssystem. Die Forschungs- und Entwicklungsexperten von CKafka sind bereit, Fragen zu beantworten und Kundenprobleme schnell zu lösen, was Sorgen und Aufwand erspart.
CKafka bietet starke Vorteile in Bezug auf Leistung, Skalierbarkeit, Geschäftssicherheit, Betrieb und Wartung usw., sodass Kunden von niedrigen Kosten und hervorragenden Funktionen profitieren und gleichzeitig langwierige Betriebs- und Wartungsarbeiten entfallen. Wenn der Datenverkehr und die Festplattenkapazität des CKafka-Clusters den Alarmschwellenwert überschreiten, erweitert das Backend die Ausrüstung umgehend, ohne dass der Client dies bemerkt, wodurch die seit langem bestehenden Schwachstellen der Datenmigration in Open-Source-Kafka gelöst werden und Konfigurationsaktualisierungen unsichtbar werden Geschäftsspitzen problemlos bewältigen.
Neben der Skalierbarkeit unterstützt Ckafka die maßgeschneiderte Bereitstellung mehrerer Verfügbarkeitszonen in derselben Region, eine überregionale Notfallwiederherstellung und verbesserte Funktionen zur Notfallwiederherstellung für Unternehmen.
Zukunftsausblick
Als Reaktion auf die beiden Kernanforderungen der Reduzierung der Speicherkosten und der schnellen Reaktion auf plötzliche Verkehrsspitzen wird sich CKafka zu einem Pay-as-you-go-Speichermodell weiterentwickeln und elastische Bandbreitenfunktionen einführen.
● Speicherung nach Volumen
Die flexible Abrechnung basiert auf der tatsächlichen Nutzung des Speicherplatzes, ohne dass reservierter Speicherplatz berücksichtigt werden muss. Dies ist flexibler, einfacher zu betreiben und zu warten und kostengünstiger.
● Flexible Bandbreite
Stellen Sie basierend auf der angegebenen Bandbreitenspezifikation einen bestimmten Bereich an schwebendem Speicherplatz (d. h. Elastizität) bereit.
Bei einem plötzlichen Verkehrsausfall löst der Cluster keine Strombegrenzung aus. Stattdessen dehnt er sich innerhalb des angegebenen Bereichs elastisch aus und schrumpft. Datenverkehr, der die ursprüngliche Bandbreite überschreitet, wird pro Meter abgerechnet.
Durch ein angemessenes Architekturdesign und flexible Produktfunktionen hilft CKafka Benutzern, Kafka-Dienste mit hohem Durchsatz, hoher Verfügbarkeit, benutzerfreundlicher und betriebsfreier Nachrichtenwarteschlange zu geringeren Kosten in der Cloud zu hosten und einen Datenfluss aus einer Hand aufzubauen Verknüpfung. Wir freuen uns auch auf die künftige stärkere Zusammenarbeit mit Kunden aus der Reisebranche und den Austausch weiterer Best Practices in der Cloud.
Tang Xiaoou, Gründer von SenseTime, ist im Alter von 55 Jahren verstorben Im Jahr 2023 stagniert PHP Wi-Fi 7 wird vollständig verfügbar sein Anfang 2024 Debüt, fünfmal schneller als Wi-Fi 6 Das Hongmeng-System steht kurz vor der Unabhängigkeit und viele Universitäten haben „Hongmeng-Klassen“ eingerichtet Zhihui Das Startup-Unternehmen von Jun refinanziert sich, der Betrag übersteigt 600 Millionen Yuan und die Pre-Money-Bewertung beträgt 3,5 Milliarden Yuan Quark Browser PC-Version startet interne Tests KI-Code-Assistent ist beliebt, und Programmiersprachen-Rankings sind alle Es gibt nichts, was Sie tun können Das 5G-Modem und die Hochfrequenztechnologie des Mate 60 Pro liegen weit vorne MariaDB spaltet SkySQL auf und etabliert sich als unabhängiges Unternehmen Xiaomi antwortet auf Yu Chengdongs „Keel Pivot“-Plagiatsaussage von Huawei