Was ist Elasticsearch?

Kurz gesagt: Unser Ziel ist es, jedem dabei zu helfen, schneller zu finden, was er braucht – vom Mitarbeiter, der Dokumente in seinem Intranet benötigt, bis zum Kunden, der online einkauft, um Schuhe zu finden, die zu ihm passen. Aber aus technischerer Sicht grob beschrieben wie folgt:

Elasticsearch ist eine kostenlose und offene verteilte Such- und Analysemaschine für alle Arten von Daten, einschließlich Textdaten, numerischer Daten, Geodaten, strukturierter und unstrukturierter Daten und mehr. Elasticsearch wurde auf Basis von Apache Lucene entwickelt und erstmals 2010 von Elasticsearch NV (heute Elastic) veröffentlicht. Elasticsearch ist bekannt für seine einfache API im REST-Stil, seine verteilte Natur, Geschwindigkeit und Skalierbarkeit und ist eine Kernkomponente des Elastic Stack; einer Reihe kostenloser und Open-Source-Tools für die Datenerfassung, -erweiterung, -speicherung, -analyse und -visualisierung. Normalerweise wird Elastic Stack als ELK Stack bezeichnet (bezogen auf Elasticsearch, Logstash und Kibana). Derzeit umfasst Elastic Stack eine Reihe umfangreicher, leichter Datenerfassungsagenten, die zusammen als Beats bezeichnet werden und zum Senden von Daten an Elasticsearch verwendet werden können.

Wofür wird Elasticsearch verwendet?

Elasticsearch zeichnet sich durch Geschwindigkeit und Skalierbarkeit aus, und seine Fähigkeit, viele Arten von Inhalten zu indizieren, bedeutet, dass es für eine Vielzahl von Anwendungsfällen verwendet werden kann:

Anwendungssuche
Seitensuche
Unternehmenssuche
Protokollverarbeitung und -analyse
Infrastrukturmetriken und Containerüberwachung
Überwachung der Anwendungsleistung
Geodatenanalyse und Visualisierung
Sicherheitsanalyse
Wirtschaftsanalyse

Wie funktioniert Elasticsearch?

Rohdaten werden aus mehreren Quellen in Elasticsearch eingespeist, darunter Protokolle, Systemmetriken und Webanwendungen. Unter Datenaufnahme versteht man den Prozess des Parsens, Normalisierens und Anreicherns dieser Rohdaten vor der Indizierung in Elasticsearch . Sobald diese Daten in Elasticsearch indiziert sind, können Benutzer komplexe Abfragen für ihre Daten ausführen und Aggregationen verwenden, um komplexe Zusammenfassungen ihrer Daten abzurufen. In Kibana können Benutzer leistungsstarke Visualisierungen basierend auf ihren eigenen Daten erstellen, Dashboards teilen und den Elastic Stack verwalten.

Was sind Elasticsearch-Indizes?

Ein Elasticsearch- Index ist eine Sammlung zusammengehöriger Dokumente. Elasticsearch speichert Daten als JSON-Dokumente. Jedes Dokument stellt eine Beziehung zwischen einer Reihe von Schlüsseln (Namen von Feldern oder Eigenschaften) und ihren entsprechenden Werten (Zeichenfolgen, Zahlen, Boolesche Werte, Datumsangaben, Zahlengruppen , geografische Standorte oder andere Datentypen) her.

Elasticsearch verwendet eine Datenstruktur namens „ Invertierter Index“ , die eine sehr schnelle Volltextsuche ermöglichen soll. Ein invertierter Index listet jeden eindeutigen Begriff auf, der in allen Dokumenten vorkommt, und findet alle Dokumente, die diesen Begriff enthalten.

Während der Indizierung speichert Elasticsearch Dokumente und erstellt einen invertierten Index, sodass Benutzer Dokumentdaten nahezu in Echtzeit durchsuchen können. Der Indexierungsprozess wird in der Indexierungs-API initiiert, über die Sie entweder JSON-Dokumente zu einem bestimmten Index hinzufügen oder JSON-Dokumente in einem bestimmten Index ändern können.

Wofür wird Logstash verwendet?

Logstash ist eines der Kernprodukte des Elastic Stack, mit dem Daten aggregiert, verarbeitet und an Elasticsearch gesendet werden können. Logstash ist eine serverseitige Open-Source-Datenverarbeitungspipeline, mit der Sie Daten aus mehreren Quellen gleichzeitig aufnehmen, anreichern und transformieren können, bevor Sie sie in Elasticsearch indizieren.

Wofür wird Kibana verwendet?

Kibana ist ein Datenvisualisierungs- und Verwaltungstool für Elasticsearch, das Echtzeit-Histogramme, Liniendiagramme, Kreisdiagramme und Karten bereitstellt. Kibana umfasst auch erweiterte Anwendungen wie Canvas und Elastic Maps; Canvas ermöglicht es Benutzern, benutzerdefinierte dynamische Infografiken basierend auf ihren eigenen Daten zu erstellen, und Elastic Maps kann zur Visualisierung von Geodaten verwendet werden.

Warum Elasticsearch verwenden?

Elasticsearch ist schnell. Da Elasticsearch auf Basis von Lucene aufgebaut ist, schneidet es bei der Volltextsuche sehr gut ab. Elasticsearch ist außerdem eine nahezu Echtzeit-Suchplattform, was bedeutet, dass die Verzögerung zwischen der Indizierung eines Dokuments und seiner Durchsuchbarkeit nur eine Sekunde beträgt. Dadurch eignet sich Elasticsearch ideal für zeitkritische Anwendungsfälle wie Sicherheitsanalysen und Infrastrukturüberwachung.

Elasticsearch ist in der Natur verteilt. In Elasticsearch gespeicherte Dokumente werden auf verschiedene Container, sogenannte Shards , verteilt , die repliziert werden können, um im Falle eines Hardwareausfalls redundante Kopien der Daten bereitzustellen. Der verteilte Charakter von Elasticsearch ermöglicht die Skalierung auf Hunderte (oder sogar Tausende) Server und die Verarbeitung von Petabytes an Daten.

Elasticsearch umfasst eine breite Palette an Funktionen. Neben Vorteilen wie Geschwindigkeit, Skalierbarkeit und Elastizität verfügt Elasticsearch über eine große Anzahl leistungsstarker integrierter Funktionen (z. B. Datenaggregation und Indexlebenszyklusverwaltung), die Benutzern das effizientere Speichern und Durchsuchen von Daten erleichtern können.

Der Elastic Stack vereinfacht die Datenaufnahme, Visualisierung und Berichterstellung. Durch die Integration mit Beats und Logstash können Benutzer Daten einfach verarbeiten, bevor sie in Elasticsearch indiziert werden. Gleichzeitig kann Kibana nicht nur eine Echtzeitvisualisierung für Elasticsearch-Daten bereitstellen, sondern auch eine Benutzeroberfläche bereitstellen, über die Benutzer schnell auf Daten wie Anwendungsleistungsüberwachung (APM), Protokolle und Infrastrukturindikatoren zugreifen können.