1. ¿Qué es Big Data?
Big data se refiere a una colección de datos cuyo contenido no puede capturarse, administrarse y procesarse con herramientas de software convencionales dentro de un cierto período de tiempo.
2. ¿Qué es la tecnología de big data? ¿Qué tecnologías son adecuadas para big data?
La tecnología de big data se refiere a la capacidad de obtener rápidamente información valiosa de varios tipos de datos. Las tecnologías aplicables a big data incluyen bases de datos de procesamiento masivo paralelo (MPP), redes de minería de datos, sistemas de archivos distribuidos, bases de datos distribuidas, plataformas de computación en la nube, Internet y sistemas de almacenamiento escalables.
3. ¿Las características del big data?
(1) El volumen de datos es enorme.
(2) Tipos de datos diversificados.
(3) Velocidad de procesamiento rápida.
(4) La densidad de valor es baja.
4. ¿Cuál es el papel de los macrodatos?
(1) El procesamiento y análisis de big data se ha convertido en el nodo de la nueva generación de aplicaciones de fusión de tecnologías de la información.
(2) Big Data es un nuevo motor para el rápido y continuo crecimiento de la industria de la información.
(3) El uso de macrodatos se convertirá en un factor clave para mejorar la competitividad central.
(4) Los métodos y medios de investigación científica en la era de los macrodatos sufrirán cambios importantes.
5. ¿Cuáles son los métodos y las teorías para el análisis de big data?
(1) Análisis visual.
(2) Algoritmo de minería de datos.
(3) Análisis predictivo.
(4) Motor semántico.
(5) Calidad y gestión de datos.
6. ¿Tecnología de Big Data?
(1) Recopilación de datos : las herramientas ETL son responsables de extraer datos de fuentes de datos distribuidas y heterogéneas, como datos relacionales, archivos de datos planos, etc., a la capa intermedia temporal para la limpieza, conversión e integración y, finalmente, cargarlos en el almacén de datos o el centro de datos. En, conviértase en la base del procesamiento de análisis en línea y la minería de datos.
(2) Acceso a datos : base de datos relacional, NOSQL, SQL, etc.
(3) Infraestructura : almacenamiento en la nube, almacenamiento distribuido de archivos, etc.
(4) Procesamiento de datos : El procesamiento del lenguaje natural (PNL, procesamiento del lenguaje natural) es una materia que estudia los problemas del lenguaje de la interacción humano-computadora. La clave para procesar el lenguaje natural es dejar que la computadora "comprenda" el lenguaje natural, por lo que el procesamiento del lenguaje natural también se llama comprensión del lenguaje natural (NLU, Natural Language Understanding), también llamado lingüística computacional (Lingüística computacional. Por un lado, es procesamiento de información del lenguaje). Una rama, por otro lado, es uno de los temas centrales de la inteligencia artificial (IA, Inteligencia Artificial).
(4) Análisis estadístico : prueba de hipótesis, prueba de significancia, análisis de diferencias, análisis de correlación, prueba T, análisis de varianza, análisis de chi-cuadrado , Análisis de correlación parcial, análisis de distancia, análisis de regresión, análisis de regresión simple, análisis de regresión múltiple, regresión escalonada, predicción de regresión y análisis residual, regresión de crestas, análisis de regresión logística, estimación de curvas, análisis factorial, análisis de conglomerados, análisis de componentes principales, Análisis factorial, método de agrupamiento rápido y método de agrupamiento, análisis discriminante, análisis de correspondencia, análisis de correspondencia múltiple (análisis de escala óptima), tecnología bootstrap, etc.
(5) Minería de datos: Clasificación, Estimación, Predicción, Reglas de agrupación o asociación de afinidad, Clustering, Descripción y visualización, Descripción y visualización, Minería de tipos de datos complejos ( Texto, Web, gráficos e imágenes, video, audio, etc.)
(6) Predicción de modelos : modelo predictivo, aprendizaje automático, modelado y simulación.
(7) Presentación de resultados : computación en la nube, nube de etiquetas, diagrama de relaciones, etc.
7. ¿El proceso básico del procesamiento de big data?
(1) Recolección;
(2) Importación / preprocesamiento;
(3) Estadísticas / análisis;
(4) Minería.
8. ¿Cuáles son los problemas que enfrenta el almacenamiento en la era del big data?
Problemas de capacidad, retrasos, seguridad, costes, etc.
9. ¿Un caso de aplicación de big data?
Industria médica, industria energética, industria de la comunicación, industria minorista, etc.