Inhaltsverzeichnis
3. Big-Data-Anwendungsszenarien
5. Aussichten für die Entwicklung von Big Data
1. Das Konzept von Big Data
Big Data besteht aus riesigen Datensätzen , die so groß sind, dass sie die Möglichkeiten herkömmlicher Datenbanksoftwaretools in Bezug auf Erfassung, Speicherung, Verwaltung und Analyse bei weitem übertreffen.
Zu den Herausforderungen der Big-Data-Analyse gehören Datenerfassung, Datenspeicherung, Datenanalyse, Suche, Freigabe, Übertragung, Visualisierung, Abfrage, Aktualisierung, Datenschutz und Datenherkunft.
Auf Big Data anwendbare Technologien , darunter MPP-Datenbanken (Massively Parallel Processing), Data Mining, verteilte Dateisysteme, verteilte Datenbanken, Cloud-Computing-Plattformen, das Internet und skalierbare Speichersysteme.
Big-Data-Einheit:
Die kleinste Grundeinheit ist Bit
Alle Einheiten sind in der Reihenfolge angegeben: Bit, Byte, KB, MB, GB, TB, PB, EB, ZB, YB, BB, NB, DB.
Berechnen Sie nach der Rate von 1024 (2 hoch zehn):
1 Byte =8 Bit
1 KB = 1.024 Bytes = 8192 Bit
1 MB = 1.024 KB = 1.048.576 Bytes
1 GB = 1.024 MB = 1.048.576 KB
1 TB = 1.024 GB = 1.048.576 MB
1 PB = 1.024 TB = 1.048.576 GB
1 EB = 1.024 PB = 1.048.576 TB
1 ZB = 1.024 EB = 1.048.576 PB
1 YB = 1.024 ZB = 1.048.576 EB
1 BB = 1.024 YB = 1.048.576 ZB
1 NB = 1.024 BB = 1.048.576 YB
1 DB = 1.024 NB = 1.048.576 BB
2. Big-Data-Merkmale
Es wird allgemein angenommen, dass Big Data hauptsächlich die folgenden vier typischen Merkmale aufweist: Skalierung (Volume), Diversität (Varity), Hochgeschwindigkeit (Velocity) und Wert (Value), die sogenannten „4V“.
1. Lautstärke
Die Merkmale von Big Data spiegeln sich zunächst in der „großen Menge“ wider, und die Speichereinheit reichte früher von GB über TB bis hin zu PB (1.000 T), EB (1 Million T) oder ZB (1 Milliarde T). die Maßeinheit. Mit der rasanten Entwicklung der Informationstechnologie begannen die Daten explosionsartig zu wachsen. Soziale Netzwerke (Weibo, Twitter, Facebook), mobile Netzwerke und verschiedene Smart-Terminals sind alle zu Datenquellen geworden. Die fast 400 Millionen Mitglieder von Taobao generieren täglich etwa 20 TB an Warentransaktionsdaten; die etwa 1 Milliarde Nutzer von Facebook generieren täglich mehr als 300 TB an Protokolldaten. Intelligente Algorithmen, leistungsstarke Datenverarbeitungsplattformen und neue Datenverarbeitungstechnologien werden dringend benötigt, um solch große Datenmengen in Echtzeit zu zählen, zu analysieren, vorherzusagen und zu verarbeiten.
2. Vielfalt
Ein breites Spektrum an Datenquellen bestimmt die Vielfalt der Big-Data-Formen. Big Data lässt sich grob in drei Kategorien einteilen:
Eine davon sind strukturierte Daten wie Finanzsystemdaten, Informationsmanagementsystemdaten, medizinische Systemdaten usw., die durch starke kausale Beziehungen zwischen den Daten gekennzeichnet sind.
Bei der zweiten handelt es sich um unstrukturierte Daten wie Videos, Bilder, Audio usw., die keinen kausalen Zusammenhang zwischen den Daten aufweisen.
Bei der dritten handelt es sich um halbstrukturierte Daten wie HTML-Dokumente, E-Mails, Webseiten usw., die durch eine schwache Kausalität zwischen den Daten gekennzeichnet sind.
3. Hohe Geschwindigkeit (Velocity)
Anders als bei herkömmlichen Datenträgern wie Archiven, Rundfunk und Zeitungen in der Vergangenheit erfolgt der Austausch und die Verbreitung großer Datenmengen über das Internet, Cloud Computing usw., was weitaus schneller ist als die Informationsaustausch- und Verbreitungsgeschwindigkeit traditioneller Medien . Der wichtige Unterschied zwischen Big Data und Massive Data besteht darin, dass Big Data zusätzlich zum größeren Datenumfang von Big Data strengere Anforderungen an die Reaktionsgeschwindigkeit der Datenverarbeitung stellt. Echtzeitanalyse statt Batch-Analyse, Dateneingabe, Verarbeitung und Verwerfen erfolgen sofort und nahezu ohne Verzögerung. Die Wachstumsrate und Verarbeitungsgeschwindigkeit von Daten sind wichtige Ausdrucksformen der hohen Geschwindigkeit von Big Data.
4. Wert
Dies ist auch das Kernmerkmal von Big Data. Unter den in der realen Welt generierten Daten ist der Anteil wertvoller Daten sehr gering. Im Vergleich zu herkömmlichen Small Data liegt der größte Wert von Big Data darin , aus einer großen Menge irrelevanter und unterschiedlicher Datentypen wertvolle Daten für die Vorhersage und Analyse zukünftiger Trends und Muster zu extrahieren und diese mithilfe von Methoden des maschinellen Lernens, Methoden der künstlichen Intelligenz oder in- Tiefenanalyse von Data-Mining-Methoden, um neue Gesetze und neues Wissen zu entdecken und diese auf verschiedene Bereiche wie Landwirtschaft, Finanzen und medizinische Versorgung anzuwenden, um schließlich den Effekt einer Verbesserung der sozialen Governance, einer Steigerung der Produktionseffizienz und der Förderung der wissenschaftlichen Forschung zu erzielen .
3. Big-Data-Anwendungsszenarien
Bei der Klassifizierung von Big-Data-Anwendungen ist der Kern in zwei Kategorien unterteilt:
- Statistische Datenanalyse: Berichte, Diagramme und große Bildschirme bieten grundlegende Datenunterstützung für Entscheidungsverhalten wie Management und Geschäftsoptimierung.
- Data Value Mining: Nutzen Sie Datenstatistiken und maschinelle Lerntechnologien, um mehr potenzielle Datenbeziehungen zu ermitteln, eine intelligentere Entscheidungsunterstützung für Prozessoptimierung und Effizienzsteigerung bereitzustellen und Datenmodellierung basierend auf den Ergebnissen des Data Mining durchzuführen, um Vorhersagen und Frühwarnungen zu treffen. usw. Weitere Anwendungen, die den Geschäftswert steigern.
**Technologiearchitektur für Unternehmensdatenanalyse
Nach Angaben der Branche:
Big Data ist überall und wird in verschiedenen Branchen eingesetzt, was die gesellschaftliche Produktion und das Leben erheblich fördert.
1. Im Bereich Sicherheit : Die Regierung kann Big-Data-Technologie nutzen, um ein starkes nationales Sicherheitssystem aufzubauen, Unternehmen können Big-Data nutzen, um Cyberangriffen zu widerstehen, und die Polizei kann Big-Data nutzen, um Verbrechen zu verhindern.
Aufbau eines nationalen integrierten Big-Data-Systems der Regierung
2. Finanzindustrie : Big Data spielt eine wichtige Rolle in den drei großen Finanzinnovationsfeldern Hochfrequenzhandel, soziale Stimmungsanalyse und Kreditrisikoanalyse.
Anforderungen an die Big-Data-Analyse und Szenarioanwendungen in der Finanzbranche
3. Neue Einzelhandelsbranche : Big Data kann auch auf das Privatleben angewendet werden, indem die mit jeder Person verbundenen „persönlichen Big Data“ verwendet werden, um persönliches Lebensverhalten und Gewohnheiten zu analysieren und ihnen durchdachtere personalisierte Dienstleistungen anzubieten. Beispiel: Douyin empfiehlt Videos, die Ihnen gefallen.
Algorithmische Modelle und personalisierte Empfehlungen im neuen Einzelhandelsmodell
4. Biomedizin : Big Data kann uns bei der Vorhersage von Epidemien, intelligenter medizinischer Behandlung und Gesundheitsmanagement helfen. Gleichzeitig kann es uns auch dabei helfen, DNA zu interpretieren und mehr über die Geheimnisse des Lebens zu erfahren.
Die Rolle und Schwierigkeiten der Big-Data-Analyse in der medizinischen Industrie
5. Transportindustrie : Nutzen Sie Big Data, um das Transportnetzwerk zu optimieren, die Transporteffizienz zu verbessern und Kosten zu senken.
Die Merkmale und Anwendung der Big-Data-Analyse von Smart Transportation
6. Bildungsgeschäft : Die Datenerfassung ist der entscheidende Durchbruch bei der Gewinnung und Analyse von Big Data im Bildungsbereich
Datenerfassung und Anwendung der pädagogischen Big-Data-Analyse
Der Wert von Big Data geht weit darüber hinaus und wird in Zukunft erhebliche und weitreichende Auswirkungen haben.
4. Fünf Bereiche von Big Data
Die fünf Kernbereiche von Big Data sind Datenspeicherung und -verarbeitung, Datenverwaltung, Datenzirkulation, Datenanwendung und Datensicherheit. Die fünf Kernbereiche weisen derzeit unterschiedliche Entwicklungsstände auf. Unter der neuen Situation der Datenelementstrategie wird die Entwicklungsrichtung weiter geklärt.
Fünf Kernbereiche der Big-Data-Industrie
Der Entwicklungsstand der fünf Kernbereiche und die Entwicklungsrichtung unter der neuen Situation
| Entwicklungsstatus |
Die Entwicklungsrichtung unter der neuen Form |
|
|---|---|---|
| Datenspeicherung und Datenverarbeitung |
Effiziente Speicherung und Berechnung großer Datenmengen |
Reduzieren Sie Betriebs- und Wartungskosten und verbessern Sie die Verarbeitungseffizienz |
| Datenmanagement |
Führende Branchen realisieren das Management von Schlüsseldaten |
Realisieren Sie globales Datenmanagement in allen Branchen |
| Datenfluss |
Die vorläufige Erkundung des Punkt-zu-Punkt-Umlaufweges ist abgeschlossen |
Einheitlicher Umlauf in der gesamten Gesellschaft |
| Datenanwendung |
Unterstützen Sie die Analyse des Kerngeschäfts und die Entscheidungsfindung auf höchster Ebene |
Integrieren Sie globale Geschäfte in einer nicht-induktiven Form |
| Datensicherheit |
Fördern Sie die Internalisierung externer Vorschriften und des Risikomanagements |
Intelligente Governance für einen sicheren Linkswechsel |
5. Aussichten für die Entwicklung von Big Data
Im vergangenen Jahr hat mein Land seine Politik, seine Talente und seine Mittel weiter ausgebaut und so der anschließenden Entwicklung von Big Data starke Impulse verliehen.
In Bezug auf die Richtlinien haben die Zentral- und Kommunalverwaltungen eine Reihe unterstützender Dokumente herausgegeben, in denen der Einsatz der Big-Data-Industrie, der digitalen Technologie, des Datenelementmarkts und der Datensicherheit hervorgehoben wird.
- Auf zentraler Ebene wurde Ende 2021 der „14. Fünfjahresplan für die Entwicklung der Big-Data-Branche“ verkündet, um den Aktionsplan für die Entwicklung der Big-Data-Branche in den nächsten fünf Jahren zu präzisieren. Im Jahr 2022 verabschiedeten das Zentralkomitee der Partei und der Staatsrat nacheinander Dokumente wie den „Gesamtplan für das umfassende Pilotprogramm zur Reform der Faktormarktallokation“, „Stellungnahmen zur Beschleunigung des Aufbaus eines nationalen einheitlichen Großmarktes“ und „Stellungnahmen zu „Building a Data Basic System to Better Play the Role of Data Elements“ und andere Dokumente haben wiederholt die Notwendigkeit und Dringlichkeit betont, den Wert von Datenelementen für die Entwicklung meines Landes freizugeben und ein gutes politisches Umfeld und klare Entwicklungsziele für die Entwicklung zu schaffen Big Data meines Landes.
- Auf lokaler Ebene haben 31 Provinzen (autonome Regionen und Gemeinden) den Entwicklungsfahrplan und den Zeitplan für Big-Data-Technologien, -Industrien und -Anwendungen an verschiedenen Orten durch die Veröffentlichung von Big-Data-Sonderplänen und Masterplänen für die digitale Wirtschaft klargestellt und dabei die Bedeutung von hervorgehoben Big Data an verschiedenen Orten. Aggressivität im Layout.
Politische Ausrichtung jedes Tracks der chinesischen Big-Data-Analyseplattform
Im Hinblick auf Talente haben mehr als die Hälfte der „doppelt erstklassigen“ Hochschulen und Universitäten Hauptfächer im Zusammenhang mit Big Data eingerichtet, und viele Provinzen haben aktiv spezielle Maßnahmen zur Talentförderung durchgeführt, und die Talentversorgungskapazität wurde erheblich verbessert .
- In Bezug auf die Hochschulausbildung haben 87 der 147 „Double First Class“-Hochschulen und Universitäten Big-Data-Hauptfächer eröffnet, was einem Anteil von 59 % entspricht Softwareentwicklung.
- Verschiedene Provinzen führen aktiv spezielle Aktionen zur Förderung von Big-Data-Talenten durch. Beispielsweise führt Guangdong die „100.000“-Talentschulungsaktion zur Einhaltung der industriellen Digitalisierung durch. Jiangsu hat einen Katalog von „High-Tech-, fortgeschrittenen und Mangeltalenten“ formuliert und eine Talent-Denkstelle aufgebaut Tank-Plattform für „intelligente Reform und digitale Transformation“, und Fujian verlangte eindeutig von den lokalen Volksregierungen auf oder über der Kreisebene, Pläne für die Entwicklung von Big-Data-Talenten zu formulieren.
In Bezug auf die Mittel haben viele Provinzen Big-Data-Unternehmen und -Anwendungen gezielt unterstützt und gefördert, indem sie spezielle Fonds eingerichtet oder Steuervergünstigungen eingeführt haben. Zum Beispiel:
- Ningxia wird hochwertige Big-Data-Unternehmen in der Region, die die Standards erfüllen, mit bis zu 3 Millionen Yuan finanziell unterstützen.
- Shandong, Heilongjiang und andere Provinzen verlangen von den Volksregierungen auf oder über der Kreisebene in der Provinz, jedes Jahr umfassende Vorkehrungen für Sonderfonds zur Unterstützung von Big-Data-bezogenen Unternehmen zu treffen;
- Zhejiang, Guangdong, Chongqing usw. haben eine Reihe von Steuersenkungs- und -befreiungsrichtlinien für Big-Data-Unternehmen eingeführt.
- Die Provinz Jiangsu richtet jedes Jahr auf Provinzebene einen Sonderfonds in Höhe von 1,2 Milliarden Yuan ein, um Industrieunternehmen bei der „intelligenten Transformation und digitalen Transformation“ zu unterstützen;
- Guizhou, Liaoning, Hebei, Yunnan und andere Provinzen subventionieren 10–30 Millionen Yuan für Big-Data-Anwendungsprojekte mit bemerkenswerten Bauergebnissen.
Branchenkarte für Big-Data-Analyse
