Datenzugriff und Datenspeicherung basierend auf dem Internet der Dinge
Erstens Edge-Computing
Edge-Computing bezieht sich auf die Seite in der Nähe der Quelle von Dingen oder Daten, wobei eine offene Plattform verwendet wird, die Netzwerk-, Computer-, Speicher- und Anwendungskernfunktionen integriert. Der Rand des Netzwerks kann eine beliebige funktionale Einheit von der Datenquelle bis zum Cloud-Computing-Center sein. Diese Einheiten sind mit einer Edge-Computing-Plattform ausgestattet, die die Kernfunktionen von Netzwerk, Computer, Speicher und Anwendungen integriert und Endbenutzern Echtzeit-, dynamisches und intelligentes Service-Computing bietet . Im Gegensatz zur Verarbeitung und algorithmischen Entscheidungsfindung in der Cloud besteht Edge Computing darin, Intelligenz und Datenverarbeitung näher an die tatsächlichen Aktionen heranzuführen, während Cloud Computing in der Cloud berechnet werden muss. Die Hauptunterschiede spiegeln sich in der heterogenen Datenverarbeitung aus mehreren Quellen, der Bandbreitenlast und wider Ressourcenverschwendung, Ressourcenbeschränkung, Sicherheit und Schutz der Privatsphäre usw.
Edge-Computing bietet herausragende Vorteile in Anwendungsszenarien mit geringer Latenz, hoher Bandbreite, hoher Zuverlässigkeit, massiven Verbindungen, heterogener Konvergenz sowie lokaler Sicherheit und Datenschutz, wie z. B. Smart Transportation, Smart Cities und Smart Homes. . Hier ist ein Punkt des intelligenten Transports, beispielsweise ein großes intelligentes Auto. Schnelle Datenverarbeitung ist eine wichtige Fähigkeit, und Edge-Computing ist der Schlüssel zur Verwirklichung eines autonomen Fahrens. Ein intelligentes Auto kann im Wesentlichen als großer, leistungsstarker Computer auf einem Rad angesehen werden, der Daten über mehrere Sensoren sammelt. Damit diese Fahrzeuge sicher und zuverlässig arbeiten können, müssen diese Sensoren sofort auf die Umgebung reagieren, und jede Verzögerung der Verarbeitungsgeschwindigkeit kann tödlich sein.
Ein sehr anschauliches Beispiel ist: Jeder Bürger Shanghais sortiert und handhabt Müll selbst, was als Edge-Computing bezeichnet wird. Der Müll wird an der Seite der Mülltonne, des Müllwagens und der Müllstation verarbeitet, was als Nebelberechnung bezeichnet wird. Unabhängig von den drei oder siebenundzwanzig wird der Müll zuerst zur zentralen Verarbeitung, dem so genannten Cloud Computing, auf die Müllkippe gebracht.
Die Anwendung von Edge Computing behebt die Mängel des Cloud Computing. Mit dem Aufstieg des Edge-Computing müssen große Datenmengen berechnet werden, und in zu vielen Szenarien wird sofortiges Feedback eingeholt. Diese Szenarien haben begonnen, die Mängel des Cloud-Computing aufzudecken, hauptsächlich wie folgt:
(1) Problem der Übertragung großer Datenmengen: Schätzungen zufolge wird jede Person bis 2020 durchschnittlich 1,5 GB Daten pro Tag generieren. Da immer mehr Geräte eine Verbindung zum Internet herstellen und Daten generieren, kann Cloud Computing mit zentralen Servern als Knoten auf Bandbreitenengpässe stoßen.
(2) Datenverarbeitung in Echtzeit: Laut Statistik erzeugen fahrerlose Autos etwa 1 GB Daten pro Sekunde und Boeing 787 mehr als 5 GB Daten pro Sekunde. Im Jahr 2020 wird Chinas Datenspeicherkapazität etwa 39 ZB erreichen, von denen etwa 30% der Daten stammen Für den Zugriff auf IoT-Geräte. Die Echtzeitverarbeitung großer Datenmengen kann das Cloud-Computing leistungslos machen.
(3) Datenschutz- und Energieverbrauchsprobleme: Cloud Computing hat einen relativ langen Weg für die Übertragung privater Daten, die von tragbaren, medizinischen, industriellen und anderen Geräten des Körpers gesammelt wurden, an das Rechenzentrum, was leicht zu Risiken wie Datenverlust oder Informationsleckage führen kann Der hohe Energieverbrauch durch Last ist auch das Kernthema der Planung des Rechenzentrumsmanagements.
Die Entwicklungsperspektive von Edge Computing ist breit und wird als "letzte Meile künstlicher Intelligenz" bezeichnet. Es befindet sich jedoch noch in einem frühen Entwicklungsstadium und es sind viele Probleme zu lösen, wie z. B.: Auswahl des Frameworks, Spezifikation von Kommunikationsgeräten und -protokollen, Identifizierung von Endgeräten, Die Notwendigkeit einer geringeren Latenz usw. Mit der Verbreitung der IPv6- und 5G-Technologien werden einige dieser Probleme gelöst, obwohl dies ein langer Weg ist. Edge Computing bietet gegenüber Cloud Computing die folgenden Vorteile. Vorteil 1: Mehr Knoten zum Laden des Datenverkehrs, wodurch die Datenübertragung beschleunigt wird. Vorteil 2: Näher am Endgerät, sicherere Übertragung und schnellere Datenverarbeitung. Vorteil 3: Mehr verstreute Knoten haben weniger Auswirkungen als Cloud-Computing-Fehler und lösen auch das Problem der Wärmeableitung von Geräten. Die beiden sind nicht nur unterschiedlich, sondern kooperieren auch miteinander. Das oben Genannte erwähnte die Mängel des Cloud Computing und die Vorteile des Edge Computing. Bedeutet dies, dass Edge Computing in Zukunft besser sein wird als Cloud Computing? eigentlich nicht! Cloud Computing ist die Interaktion zwischen Menschen und Computergeräten, während Edge Computing die Interaktion zwischen Geräten und Geräten ist und schließlich Menschen indirekt dient. Edge Computing kann eine große Menge von Echtzeitdaten verarbeiten, und Cloud Computing kann schließlich auf den Verlauf oder die Verarbeitungsergebnisse dieser Echtzeitdaten zugreifen und eine zusammenfassende Analyse durchführen. Edge Computing ist die Ergänzung und Erweiterung des Cloud Computing.
Edge-Computing wird derzeit hauptsächlich in Bereichen wie autonomes Fahren, Smart Home, industrielles Internet der Dinge usw. eingesetzt. Es gibt jedoch immer noch einige Probleme:
①Die breite Verteilung der Geräte muss jedes Gerät über eine solche Reihe von Computerfunktionen verfügen.
②Differente Geräte Die Heterogenität zwischen den beiden, ob die Logik der Edge-Computing-Verarbeitung und die erforderlichen Fähigkeiten (Konfiguration) unterschieden werden müssen:
③Die Rechenleistung des Edge-Computing? Müssen noch Randknotendaten gespeichert werden?
④Will Edge Computing wirklich weniger kosten?
⑤ Eingebettete Entwicklung?
Zweitens das Kommunikationsprotokoll Internet of Things
Netzwerkprotokoll: Die
Kommunikation im Internet der Dinge auf der Grundlage von Stromverteilungsnetzwerkgeräten schließt zunächst kabelgebundene Protokolle (USB, M-Bus) und kabellose Kurzstreckenprotokolle (NFC, Bluetooth, WIFI) aus. Derzeit erfüllt nur das drahtlose Fernkommunikationsprotokoll die Anforderungen.
Das drahtlose Fernkommunikationsprotokoll umfasst ein zellulares Kommunikationsprotokoll und ein nicht zellulares Kommunikationsprotokoll. Mobilfunkkommunikationsprotokolle sind hauptsächlich die Standards und Protokolle, die von verschiedenen Telekommunikationsbetreibern unter Technologien wie 2/3/4 / 5G und NB-IoT übernommen wurden. Nicht-zellulare Kommunikationsprotokolle sind hauptsächlich ZigBee-Technologie und LoRa-Technologie.
Zunächst wird Zigbee verwendet, um Geräte in einem Bereich von 10 bis 100 Metern anzuschließen, was nicht geeignet ist. 2G / 3G wird aus dem Netzwerk zurückgezogen. 4 / 5G hat eine lange Übertragungsstrecke und eine hohe Geschwindigkeit, aber die Kosten sind zu hoch. LoRa ist auch eine gute Fernkommunikationstechnologie, aber ihre Datenübertragungsrate beträgt 0,3 kbit / s bis 50 kbit / s. Es muss geprüft werden, ob die Übertragungsrate ausreichend ist.
Dann gibt es NB-IoT. Hier ist eine Einführung in NB-IoT:
NB-IoT, der vollständige Name lautet Narrow Band Internet of Things, auch bekannt als Narrow Band Internet of Things, ist eine für Betreiber angepasste 3GPP LPWA-Mobilfunklösung. Wiederholter Transport, optimierte Netzwerkprotokolle und andere Designs auf Kosten bestimmter Geschwindigkeit, Verzögerung, mobiler Leistung usw., um die Tragfähigkeit für LPWA IoT zu erhalten.
Aus Sicht des Zugangsnetzwerks unterstützt das NB-IoT-Uplink-Übertragungsschema zwei Formen der Einzelfrequenz-Audioübertragung und der Mehrfrequenz-Audioübertragung. Die Einzelfrequenz-Audiolösung unterstützt eine bessere Abdeckung, Kapazität und einen besseren Stromverbrauch des Terminals. Die Mehrfrequenz-Audiolösung kann zur Unterstützung größerer Spitzenraten verwendet werden.
In Bezug auf die technischen Merkmale ist die Bereitstellungsmethode von NB-IoT relativ schnell und flexibel. In Bezug auf Stromverbrauch und Leistung haben NB-IoT-Terminals einen geringen Stromverbrauch. Unter dem Gesichtspunkt der Kosten- und Marktförderung können die Funkfrequenz und die Antennen bestehender Basisstationen für drahtlose Netzwerke wiederverwendet werden, da NB-IoT direkt in 2G / 3G / 4G-Netzen eingesetzt werden kann.
Im Vergleich zu herkömmlichen zellularen 2G-, 3G- und 4G-Kommunikationsmodi bietet NB-IoT seine eigenen Vorteile: geringer Stromverbrauch, große Abdeckung, niedrige Kosten und große Kapazität, sodass es für eine Vielzahl vertikaler Branchen, wie z. Asset Tracking, intelligentes Parken, intelligente Landwirtschaft usw.
Geräte-Cloud-Kommunikationsprotokoll: Nachdem das
IoT-Geräteterminal mit dem Netzwerk verbunden wurde, ist es nur der Anfang der IoT-Anwendung. Nachdem das Gerät mit dem Netzwerk verbunden ist, müssen das Gerät und das Gerät miteinander kommunizieren, und das Gerät und die Cloud müssen miteinander kommunizieren. Nur durch Interoperabilität kann der Wert des Internet der Dinge offenbart werden. Da Interkommunikation erforderlich ist, wird ein Satz von IoT-Kommunikationsprotokollen benötigt. Nur Geräte, die diesen Protokollen folgen, können miteinander kommunizieren und Daten austauschen.
Zu den häufig verwendeten IoT-Kommunikationsprotokollen gehört hauptsächlich das MQTT-Protokoll, das basierend auf dem Nachrichtenmodell implementiert wird. Die Kommunikation zwischen dem Gerät und dem Gerät sowie zwischen dem Gerät und der Cloud wird durch den Austausch von Nachrichten realisiert, und die Nachrichten tragen Kommunikationsdaten.
MQTT (Message Queuing Telemetry Transport) ist ein "leichtes" Kommunikationsprotokoll, das auf dem Publish / Subscribe-Modus basiert und auf dem TCP / IP-Protokoll basiert. Der größte Vorteil von MQTT besteht darin, dass es Echtzeit- und zuverlässige Messaging-Dienste für die Verbindung von Remote-Geräten mit sehr wenigen Codes und begrenzter Bandbreite bereitstellen kann. Als Instant Messaging-Protokoll mit geringem Overhead und geringer Bandbreite verfügt es über eine breite Palette von Anwendungen im Internet der Dinge, kleinen Geräten und mobilen Anwendungen.
MQTT ist ein Client-Server-Nachrichtenveröffentlichungs- / Abonnement-Übertragungsprotokoll. Das MQTT-Protokoll ist leicht, einfach, offen und leicht zu implementieren. Diese Funktionen machen es zu einem sehr breiten Anwendungsbereich. In vielen Fällen, einschließlich eingeschränkter Umgebungen, wie z. B. M2M-Kommunikation (Machine-to-Machine) und Internet of Things (IoT). Es ist weit verbreitet bei der Kommunikation von Sensoren über Satellitenverbindungen, gelegentlich medizinische Einwahlgeräte, Smart Homes und einige miniaturisierte Geräte.
Eine kurze Einführung in das Open-Source-Produkt EMQ des MQTT-Protokolls:
Drei, Datenzugriff
Zunächst ist ein intelligentes Erfassungsgerät erforderlich, um die erfassten Daten auf den Server hochzuladen. Die Form, in der die erfassten Daten auf die Festplatte fallen, ist der Schlüssel für den Datenzugriff. Das MQTT-Protokoll ist mit EMQ und dann mit kafka / influxDB usw. verbunden.
Viertens Zeitreihendatenspeicherung
Technische Anforderungen für Zeitreihendatenbanken:
(1) Massendatenspeicher (verteilter Speicher)
(2) Schreiben mit hoher Parallelität und hohem Durchsatz
(3) Mehrdimensionale Aggregationsabfrage
(4) OLAP-Analyse
Zeitreihendatenbankkomponenten:
InfluxDB-Mainstream-Zeitreihendatenbank, eigenständig kostenlos, Clustergebühren.
TimescaleDB basiert auf PostgreSQL, das möglicherweise für Situationen geeignet ist, in denen die Datenmenge nicht zu groß ist, aber umfangreiche SQL-Funktionen bietet.
KairosDB basiert auf Cassandra, die Bedienung und Wartung sollte relativ einfach sein, die Skalierbarkeit sollte gut sein und die Schreibleistung wird als gut eingeschätzt, SQL wird jedoch nicht unterstützt.
CrateDB basiert auf ElasticSearch und unterstützt ANSI SQL. Die Schreibleistung sollte gut und die Skalierbarkeit gut sein. Es wird geschätzt, dass die SQL-Unterstützung und die Leseleistung schlechter sein werden.
Die unterste Ebene von OpenTsdb verwendet Hbase als verteilte Speicher-Engine, die die Vorteile von hbase bietet und SQL nicht unterstützt.
Kudu-Spaltenspeicher (basierend auf hbase) unterstützt SQL, und das Bessere unterstützt das Aktualisieren / Einfügen. SQL-Abfragen können über Impala oder Spark unterstützt werden.
Kudu ist ein neues Open-Source-Säulenspeichersystem von Cloudera und Mitglied des Apache Hadoop-Ökosystems. Es wurde für die schnelle Analyse sich schnell ändernder Daten entwickelt. Die meisten Szenarien von Kudu ähneln Hbase. Das Design reduziert die zufällige Lese- und Schreibleistung und verbessert die Scanleistung. In den meisten Szenarien bietet Kudu eine zufällige Lese- und Schreibleistung in der Nähe von Hbase und übertrifft gleichzeitig die Hbase-Scanleistung bei weitem. , Um die Lücke der vorherigen Hadoop-Speicherebene zu füllen.
Im Gegensatz zur HBase-Speicher-Engine bietet Kudu die folgenden Vorteile: ①Schnelle
Verarbeitungsgeschwindigkeit für OLAP-Abfragen.
②Es ist in hohem Maße kompatibel mit gängigen Systemen im Hadoop-Ökosystem wie MapReduce und Spark, und der Verbindungstreiber wird vom offiziellen Support verwaltet.
③Tief integriert in Impala integriert. Im Vergleich zur traditionellen Architektur von HDFS + Parkett + Impala bietet Kudu + Impala in den meisten Szenarien eine bessere Leistung.
④ Es kann gleichzeitig OLTP- und OLAP-Anforderungen unterstützen und beide weisen eine gute Leistung auf.
⑤Unterstützen Sie strukturierte Daten, reine Spaltenspeicherung, sparen Sie Platz und sorgen Sie für eine effizientere Abfragegeschwindigkeit.