Autor: Zen und die Kunst der Computerprogrammierung
1. Einleitung
Im Jahr 2010 führte der explosionsartige Traffic der Google-Suchmaschine dazu, dass die Suchergebnisse nicht vollständig angezeigt wurden. In den folgenden Jahrzehnten hat Google stets an der Mission festgehalten, den Nutzern ein schnelles und zeitnahes Informationsabruferlebnis zu ermöglichen, und ist bestrebt, dies zu gewährleisten die besten Web-Suchmaschinenprodukte, um bessere Upgrades ihrer Suchfunktionen zu erzielen. Heute ist Google zu einem der größten Internetunternehmen der Welt geworden, das die Hälfte des gesamten Internets einnimmt, aber dieses Internetunternehmen hat auch einen enormen kommerziellen Wert und langfristigen Einfluss. Da Internetunternehmen weiterhin riesige Datenmengen generieren, ist die effektive Analyse, Gewinnung und Verarbeitung von Daten derzeit zur dringendsten Geschäftsanforderung geworden. Im Jahr 2014 startete die Amazon-Website die Cloud-Computing-Plattform Amazon Web Services (AWS), die eine Reihe von Big-Data-Analysediensten bereitstellt. Diese Dienste können Benutzern helfen, den Wert von Big Data schnell zu analysieren und zu verstehen und die Entscheidungsfindung der Benutzer zu verbessern Effizienz.
Beim Aufbau eines Systems mit Big-Data-Analysefunktionen müssen drei wichtige Punkte berücksichtigt werden: Datenerfassung, -speicherung und -verarbeitung. Zunächst ist es notwendig, umfangreiche Daten aus verschiedenen Kanälen (Protokolle, Texte, Bilder, Videos usw.) zu sammeln und die Daten mithilfe von Tools auf einer zentralen Speicherplattform zu sammeln. Anschließend werden die gespeicherten Daten bereinigt, konvertiert, gefiltert usw., die Daten werden visuell angezeigt und Datenstatistiken werden entsprechend einem bestimmten Zeitfenster oder einer bestimmten Häufigkeit durchgeführt, um weiter interaktive Analyseberichte oder Diagramme zu erstellen. Schließlich werden Algorithmenmodelle verwendet, um die Daten zu analysieren, nützliche Informationen zu extrahieren und Entscheidungsunterstützung für Geschäftsabteilungen bereitzustellen. In diesem Artikel werden die wichtigsten Aspekte der Datenanalyse und des Aufbaus einer Big-Data-Analyseinfrastruktur aus zwei Aspekten vorgestellt.
2. Big-Data-Konzepte und Fachbegriffe
2.1 Big-Data-Konzept
Der Begriff „Big Data“ stammt vom amerikanischen Informatiker William Michael Shannon und bezieht sich auf Daten, die in den letzten Jahrzehnten aus verschiedenen Blickwinkeln beobachtet, gesammelt, aggregiert, gespeichert und analysiert wurden. Es wird häufig in verschiedenen Bereichen eingesetzt, darunter Wirtschaft, Finanzen, Gesellschaft, Biomedizin, Umweltschutz, Bildung, Wissenschaft und Technologie sowie Kultur