1. Was ist Big Data?
Big Data bezieht sich auf eine Sammlung von Daten, deren Inhalt nicht innerhalb eines bestimmten Zeitraums mit herkömmlichen Softwaretools erfasst, verwaltet und verarbeitet werden kann.
2. Was ist Big Data-Technologie? Welche Technologien eignen sich für Big Data?
Big-Data-Technologie bezieht sich auf die Fähigkeit, schnell wertvolle Informationen aus verschiedenen Datentypen zu erhalten. Zu den auf Big Data anwendbaren Technologien gehören MPP-Datenbanken (Massively Parallel Processing), Data Mining-Grids, verteilte Dateisysteme, verteilte Datenbanken, Cloud-Computing-Plattformen, das Internet und skalierbare Speichersysteme.
3. Die Eigenschaften von Big Data?
(1) Das Datenvolumen ist riesig.
(2) Diversifizierte Datentypen.
(3) Schnelle Verarbeitungsgeschwindigkeit.
(4) Die Wertedichte ist gering.
4. Welche Rolle spielt Big Data?
(1) Die Verarbeitung und Analyse von Big Data ist zum Knotenpunkt der neuen Generation von Fusionsanwendungen der Informationstechnologie geworden.
(2) Big Data ist ein neuer Motor für das kontinuierlich schnelle Wachstum der Informationsindustrie.
(3) Die Nutzung von Big Data wird zu einem Schlüsselfaktor für die Verbesserung der Kernwettbewerbsfähigkeit.
(4) Die Methoden und Mittel der wissenschaftlichen Forschung im Zeitalter von Big Data werden sich grundlegend ändern.
5. Was sind die Methoden und Theorien für die Big-Data-Analyse?
(1) Visuelle Analyse.
(2) Data Mining-Algorithmus.
(3) Vorausschauende Analyse.
(4) Semantische Engine.
(5) Datenqualität und Datenmanagement.
6. Big Data Technologie?
(1) Datenerfassung : ETL-Tools sind dafür verantwortlich, Daten aus verteilten und heterogenen Datenquellen wie relationalen Daten, flachen Datendateien usw. auf die temporäre Zwischenschicht zu extrahieren, zu konvertieren und zu integrieren und schließlich in das Data Warehouse oder den Data Mart zu laden Werden Sie zur Basis der Online-Analyseverarbeitung und des Data Mining.
(2) Datenzugriff : relationale Datenbank, NOSQL, SQL usw.
(3) Infrastruktur : Cloud-Speicher, verteilter Dateispeicher usw.
(4) Datenverarbeitung : Die Verarbeitung natürlicher Sprache (NLP, Natural Language Processing) ist ein Fach, das die Sprachprobleme der Mensch-Computer-Interaktion untersucht. Der Schlüssel zur Verarbeitung natürlicher Sprache besteht darin, den Computer die natürliche Sprache "verstehen" zu lassen. Daher wird die Verarbeitung natürlicher Sprache auch als Verständnis natürlicher Sprache (NLU, Natural Language Understanding) bezeichnet, auch als Computerlinguistik (Computerlinguistik) bezeichnet. Zum einen handelt es sich um Sprachinformationsverarbeitung Ein Zweig hingegen ist eines der Kernthemen der künstlichen Intelligenz (KI, Künstliche Intelligenz).
(4) Statistische Analyse : Hypothesentest, Signifikanztest, Differenzanalyse, Korrelationsanalyse, T-Test, Varianzanalyse, Chi-Quadrat-Analyse , Partielle Korrelationsanalyse, Distanzanalyse, Regressionsanalyse, einfache Regressionsanalyse, multiple Regressionsanalyse, schrittweise Regression, Regressionsvorhersage und Restanalyse, Gratregression, logistische Regressionsanalyse, Kurvenschätzung, Faktoranalyse, Clusteranalyse, Hauptkomponentenanalyse, Faktoranalyse, schnelle Clustering-Methode und Clustering-Methode, Diskriminanzanalyse, Korrespondenzanalyse, Mehrfachkorrespondenzanalyse (optimale Skalenanalyse), Bootstrap-Technologie usw.
(5) Data Mining: Klassifizierung, Schätzung, Vorhersage, Affinitätsgruppierung oder Assoziationsregeln, Clustering, Beschreibung und Visualisierung, Beschreibung und Visualisierung, Complex Data Type Mining ( Text, Web, Grafiken und Bilder, Video, Audio usw.)
(6) Modellvorhersage : Vorhersagemodell, maschinelles Lernen, Modellierung und Simulation.
(7) Präsentation der Ergebnisse : Cloud Computing, Tag Cloud, Beziehungsdiagramm usw.
7. Der grundlegende Prozess der Big Data-Verarbeitung?
(1) Sammlung;
(2) Import / Vorverarbeitung;
(3) Statistik / Analyse;
(4) Bergbau.
8. Was sind die Probleme bei der Speicherung im Zeitalter von Big Data?
Kapazitätsprobleme, Verzögerungsprobleme, Sicherheitsprobleme, Kostenprobleme usw.
9. Ein Fall von Big Data-Anwendung?
Medizinische Industrie, Energiewirtschaft, Kommunikationsindustrie, Einzelhandel usw.