Daten effizient lesen und schreiben
1) Kafka selbst ist ein verteilter Cluster, der Cluster-Technologie mit hoher Parallelität verwenden kann.
2) Beim Lesen und Schreiben von Daten werden spärliche Indizes verwendet, mit denen die zu verbrauchenden Daten schnell lokalisiert werden können. 3) Die Produktionsdaten des Produzenten von Kafka werden
nacheinander auf die Festplatte geschrieben
in das Protokoll geschrieben werden In der Datei wurde der Schreibvorgang an das Ende der Datei angehängt, bei dem es sich um sequentielles Schreiben handelt. Den Daten auf der offiziellen Website zufolge kann dieselbe Festplatte sequentiell mit 600 M/s und zufällig beschrieben werden Die Schreibgeschwindigkeit beträgt nur 100 k/s. Dies hängt mit der mechanischen Struktur der Festplatte zusammen. Der Grund für das sequentielle Schreiben besteht darin, dass dadurch viel Zeit bei der Kopfadressierung eingespart werden kann
Seitencache + Zero-Copy-Technologie
Keine Kopie: Die Datenverarbeitungsvorgänge von Kafka werden von Kafka-Produzenten und Kafka-Konsumenten abgewickelt. Die Kafka-Broker-Anwendungsschicht kümmert sich nicht um die gespeicherten Daten, sodass sie nicht zur Anwendungsschicht wechseln muss und die Übertragungseffizienz hoch ist.
PageCache-Seiten-Cache: Kafka verlässt sich stark auf die PageCache-Funktion, die vom zugrunde liegenden Betriebssystem bereitgestellt wird. Wann Es gibt einen Schreibvorgang auf der oberen Ebene, das Betriebssystem schreibt die Daten einfach in PageCache. Wenn der Vorgang ausgeführt wird, suchen Sie im PageCache nach den Daten. Wenn sie nicht gefunden werden, lesen Sie sie von der Festplatte. Tatsächlich handelt es sich bei PageCache um Peking, und der größte Teil des Speichers wird als Festplatten-Cache verwendet.
| Parameter | beschreiben |
|---|---|
| log.flush.interval.messages | Die Anzahl der erzwungenen Seitencache-Löschvorgänge auf die Festplatte. Der Standardwert ist der Maximalwert von long, 9223372036854775807. Es wird im Allgemeinen nicht empfohlen, Änderungen vorzunehmen und die Verwaltung dem System zu überlassen |
| llog.flush.interval.ms | Wie oft werden Daten auf die Festplatte übertragen? Der Standardwert ist null. Es wird im Allgemeinen nicht empfohlen, sie zu ändern. Überlassen Sie die Verwaltung dem System |