Resumen: Este artículo propone un sistema de conocimiento de la situación de seguridad de la red basado en Honghu Data Platform, con la ayuda de las capacidades de procesamiento de análisis y almacenamiento de datos ultragrandes eficientes y flexibles de Honghu Data Platform, como el modelado de lectura de tiempo, el procesamiento de series de tiempo y la búsqueda de datos. , el sistema admite almacenamiento masivo de big data y requisitos de conocimiento de la situación de seguridad de la red, desde clasificación, estadísticas hasta análisis de datos, asociación, predicción y juicio. Basado en big data de seguridad, desde una perspectiva global, mejore la capacidad de descubrir e identificar amenazas de seguridad, comprender y analizar, responder y manejar, y finalmente implementar la conciencia situacional de seguridad de la red.
Palabras clave: seguridad de la red conciencia situacional Honghu Data Platform análisis de asociación de modelado de lectura de tiempo
1. Introducción
Anderson propuso por primera vez la idea de una auditoría de seguridad basada en registros en un artículo publicado en 1980. Desde entonces, se ha formado una teoría relativamente completa a través del desarrollo continuo y los principales proveedores de seguridad también han desarrollado sistemas de seguridad disponibles.
Sin embargo, con la rápida popularización de las redes de alta velocidad y la aplicación generalizada de la tecnología de big data, los equipos de protección y monitoreo de redes, como varios sistemas de monitoreo de tráfico, IDS, firewalls y sistemas de monitoreo de terminales, generan una gran cantidad de datos útiles durante la operación. como datos de paquetes, datos de sesión, registros, alarmas, etc., y el número de registros de plataformas de aplicaciones también muestra una tendencia de crecimiento explosivo. Estos datos reflejan el estado de seguridad de la red hasta cierto punto.
Sin embargo, debido a la falta de colaboración entre los diferentes dispositivos del sistema, los formatos de datos generados y los niveles de detalle también son diferentes, por lo que es imposible realizar un análisis de fusión eficaz de los datos y es difícil identificar y analizar el comportamiento de ataque del intruso. desde una perspectiva general y global: visualización completa, precisa y detallada de la situación general de seguridad de la red. En base a esto, la tecnología de conciencia situacional de seguridad de la red surge a medida que los tiempos lo requieren y se convierte en el foco de la tecnología de seguridad de próxima generación.
El conocimiento de la situación de seguridad de la red es un medio de análisis cuantitativo de la seguridad de la red y es una medida precisa de la seguridad de la red. El uso de la tecnología de conocimiento de la situación de seguridad de la red puede presentar de manera integral el estado general de seguridad de la red actual, predecir su tendencia de desarrollo y dar respuestas efectivas. , es la base y premisa de la defensa activa. El sistema de conocimiento de la situación de seguridad de la red se basa en la infraestructura de seguridad de la red, como firewalls, sistemas de detección de intrusos, sistemas antivirus, sistemas de archivos de registro, programas de detección de malware, etc., recopila datos de la situación, utiliza modelos de procesamiento de datos para fusionar datos y forma funciones de seguridad. información y análisis de asociación de información de características.
A partir del análisis del estado de la investigación en el país y en el extranjero, todavía existen muchos problemas en la tecnología actual de conocimiento de la situación de seguridad de la red basada en el tráfico de la red, las instalaciones clave de la plataforma en la nube y los registros del sistema de aplicaciones. En primer lugar, la fuente de datos y las ideas de procesamiento son únicas. Los productos existentes de prevención y control de amenazas a la seguridad de la red están todos dirigidos a una única fuente de datos, centrándose en las fuentes de datos de detección de entrada de aplicaciones y redes. Sin embargo, falta un análisis general de múltiples fuentes de datos. fuente de datos, y todavía es difícil manejar y correlacionar de manera integral los incidentes de seguridad.
La segunda es la cuestión de la puntualidad. Existen diferencias en el contenido y la estructura reportados por varios dispositivos de recolección de tráfico, y la estructura y granularidad de los registros enviados por varios sistemas y aplicaciones de monitoreo también son diferentes. Los modelos de datos predefinidos y la limpieza de datos son diferentes. requerido para el almacenamiento y el análisis. Si necesita agregar un campo de datos original para ayudar en el análisis, debe ajustar el modelo de datos y almacenar los datos originales nuevamente, lo que causa desperdicio de redundancia de almacenamiento y reduce la puntualidad del sistema; además Para los datos del problema, es imposible recuperar rápidamente los datos de los datos originales, y lleva mucho tiempo localizar y resolver el problema.
En tercer lugar, el costo de construcción es alto: un sistema completo de conocimiento de la situación de seguridad de la red generalmente necesita implementar dispositivos de seguridad en varios lugares de tráfico y entrada de negocios, y el costo general de construcción es alto.
En vista de los problemas anteriores, basado en la plataforma de análisis en tiempo real de big data heterogéneo de nueva generación, Honghu Data Platform, este artículo estudia la tecnología de conocimiento de la situación de seguridad de la red, construye un sistema de conocimiento de la situación de seguridad de la red orientado al sistema de información de la red y realiza un análisis de correlación eficiente de datos de seguridad heterogéneos y diferentes, identificación y ubicación en tiempo real de amenazas a la seguridad, auditoría y análisis de comportamientos anormales.
2. Marco del sistema de conciencia situacional de seguridad de la red
2.1 Sistema de conocimiento de la situación de seguridad de la red
El conocimiento de la situación de seguridad de la red consiste esencialmente en adquirir y comprender una gran cantidad de datos de seguridad de la red, juzgar el estado general actual de la seguridad y predecir tendencias futuras a corto plazo. Se puede dividir en tres etapas: extracción de situación, comprensión de situación y predicción de situación. El diagrama esquemático conceptual que se muestra en la Figura 1 es un proceso iterativo y cíclico.
Con base en los elementos y características de seguridad en un entorno de red a gran escala, utilice métodos como el análisis de datos, la minería y la deducción inteligente para comprender y cuantificar con precisión la situación de seguridad actual en el ciberespacio, detectar de manera efectiva varios ataques en el ciberespacio y predecir el ciberespacio futuro. seguridad: La tendencia de desarrollo de la situación y rastrear el origen de los elementos de seguridad que causan el cambio de situación.
Figura 1 Diagrama esquemático conceptual del conocimiento situacional de seguridad de la red
2.1.1 Extracción de situaciones
La etapa de extracción de situación recopila y fusiona principalmente datos de seguridad de la red. El proceso y método específicos son los siguientes:
Definir elementos y características de seguridad: extracción dirigida de datos de seguridad de la red desde tres dimensiones: dimensión de activos, dimensión de vulnerabilidad y dimensión de amenazas.
Recopilación de datos: se adoptan diferentes métodos de recopilación de datos para diferentes dimensiones de los datos. Los datos de la dimensión de los activos se pueden recopilar mediante WMI, SNMP, administrador central, escaneo de puertos, etc., los datos de la dimensión de la vulnerabilidad se obtienen a través de una base de datos de vulnerabilidad de código abierto y a través de una base de datos de vulnerabilidades abierta Obtenga las vulnerabilidades descubiertas; los datos de la dimensión de amenaza incluyen datos del terminal y datos de tráfico, los datos del terminal se recopilan mediante flume, syslog, etc., los datos de tráfico se capturan mediante wireshark, sniffer, biblioteca Libpcap, etc. para capturar paquetes.
Preprocesamiento y fusión de datos: estandarice los datos de múltiples fuentes de información y realice asociaciones, combinaciones y fusiones para proporcionar información para la toma de decisiones para la evaluación de la situación. El preprocesamiento de datos incluye limpieza de datos, integración de datos, especificación de datos y transformación de datos.
Limpieza de datos: resuelva el problema de los errores de datos, incluido el procesamiento distribuido por el usuario, el filtrado de impurezas, la limpieza de datos, etc. para datos irregulares masivos, como datos de ruido, datos inconsistentes y datos faltantes. Los datos de ruido pueden procesarse mediante sustitución de medias, sustitución de regresión, agrupamiento, etc.; los datos inconsistentes deben procesarse mediante integración de datos; los datos faltantes pueden procesarse mediante llenado manual, llenado de muestra similar, etc.
Integración de datos: Para solucionar el problema de la redundancia de datos, la integración se realiza desde los aspectos de entidad, formato de datos e integración de los datos en sí. Los métodos comúnmente utilizados para entidades incluyen diccionarios de sinónimos, alineación de entidades basada en gráficos de conocimiento, etc.; y los formatos de datos se fusionan de acuerdo con atributos unificados; la integración de datos se maneja mediante métodos de promedio, votación y ponderación.
Reducción de datos: optimice los datos, incluida la reducción de muestras, la reducción de características y la reducción de dimensiones. El método de reducción de muestra proviene de la estadística y es necesario mantener las características del conjunto de datos original tanto como sea posible. La reducción de funciones consiste en encontrar el conjunto mínimo de funciones. El propósito de la reducción de dimensionalidad es reducir la cantidad de variables aleatorias o atributos que se analizarán, incluidos métodos como la transformada wavelet y el análisis de componentes principales.
Transformación de datos: transforme los datos en una representación que sea propicia para el análisis, como dividir los datos en diferentes categorías mediante agrupación y proporcionar atributos de datos de nivel superior. Los métodos comunes incluyen métodos como agrupación, análisis de histograma, agrupación, árboles de decisión y análisis de correlación.
Fusión de datos: integre eficazmente datos de múltiples fuentes y utilice la redundancia y la complementariedad para generar información sobre la situación de la red. Los métodos incluyen métodos clásicos y métodos modernos. Los métodos clásicos se basan en modelos y probabilidades, incluido el método de promedio ponderado, el razonamiento bayesiano, la teoría de la evidencia DS, etc. Los métodos modernos incluyen principalmente razonamiento lógico y métodos de inteligencia artificial de aprendizaje automático, como análisis de conglomerados, conjuntos aproximados, redes neuronales artificiales, evolutivos. algoritmo, etc.
2.1.2 Comprensión de la situación
La comprensión de la situación de seguridad de la red consiste en evaluar la situación de seguridad de la red mediante la construcción de indicadores de situación de seguridad de la red sobre la base de la detección y el análisis de la seguridad de la red, a fin de obtener la situación de seguridad de la red macroscópica. El proceso y método específicos son los siguientes:
Detección y análisis de seguridad de red.
Establezca un modelo cognitivo para el conocimiento de la situación de seguridad de la red, utilice el modelo cognitivo para realizar una detección en profundidad de eventos de la red y realice un descubrimiento, evaluación y evaluación integrales, en tiempo real y precisos de los ataques a la red. El modelo MDATA (Modelo de análisis de amenazas y asociación de datos multidimensionales) es un modelo cognitivo eficaz que resuelve los problemas de amplia distribución de datos y la dificultad para expresar el conocimiento de seguridad de la red debido a sus características espacio-temporales. Incluye principalmente tres partes: representación de asociación, asociación cálculo de construcción y asociación. Las diversas bases de conocimiento generadas mediante el uso del modelo MDATA son muy grandes y la arquitectura de computación en la nube de niebla se puede utilizar para realizar la gestión y la computación colaborativa del modelo cognitivo de conciencia situacional de seguridad de la red.
Creación de indicadores de situación de ciberseguridad
Establecer un sistema de indicadores de conciencia situacional de seguridad de la red, definir un modelo de ontología de conciencia situacional de seguridad de la red, calcular y comprender de manera eficiente datos de seguridad heterogéneos de múltiples fuentes a través de un modelo semántico explícito, formalizado y legible por máquina, y analizar eventos de seguridad de red conocidos de manera efectiva. correlacionar y deducir nuevos eventos de ataque.
Evaluación de la situación de ciberseguridad
La fusión de datos es la base del conocimiento de la situación de seguridad de la red y el núcleo de la evaluación de la situación de seguridad de la red. Sobre la base de la integración de varios datos de seguridad, con la ayuda de modelos matemáticos, el valor de evaluación de la situación actual de seguridad de la red se obtiene mediante cálculos de razonamiento formal, que se dividen en evaluaciones cualitativas y cuantitativas. Los métodos de evaluación cuantitativa incluyen métodos de evaluación cuantitativa basados en modelos matemáticos, métodos de evaluación cuantitativa basados en el razonamiento del conocimiento y métodos de evaluación cuantitativa basados en el aprendizaje automático. El método de evaluación cuantitativa basado en modelos matemáticos considera de manera integral los factores que causan cambios en la situación de la red, construye una función de evaluación basada en modelos matemáticos y realiza el mapeo entre los elementos situacionales y los valores de evaluación cuantitativa de la seguridad de la red. Los métodos más utilizados son el análisis de peso y análisis de pares de conjuntos. El método de evaluación cuantitativa basado en el razonamiento del conocimiento establece una base de datos y un modelo de evaluación de probabilidad mediante la clasificación del conocimiento experto, describe y procesa información de incertidumbre de los atributos de seguridad con la ayuda de la teoría de la probabilidad y la teoría difusa, y analiza la situación de seguridad de la red mediante estrategias de control del razonamiento. . El método de evaluación cuantitativa basado en el aprendizaje automático establece una plantilla de situación de seguridad de la red mediante reconocimiento de patrones, análisis de correlación, aprendizaje profundo, etc., y clasifica y califica la naturaleza y el grado de la situación mediante la coincidencia y el mapeo de plantillas.
Visualización de la situación de seguridad de la red
La visualización de la situación de seguridad de la red incluye la visualización del flujo de datos de seguridad de la red, la visualización de la evaluación de la situación de seguridad de la red y la visualización del análisis del comportamiento de ataques de la red. El índice de evaluación de la situación de seguridad de la red se puede mostrar en función del mapa electrónico. Las herramientas de visualización actuales aún enfrentan el desafío de la visualización en tiempo real, no pueden adaptarse a diversas situaciones complejas de ataques complejos y no pueden analizar asociaciones de datos complejas.
2.1.3 Pronóstico de la situación
La predicción de situaciones se basa en la adquisición, transformación y procesamiento de datos de situación históricos y actuales, establece un modelo matemático para explorar las leyes de desarrollo y cambio entre los datos y hace inferencias sobre tendencias de desarrollo futuras. Las técnicas tradicionales de pronóstico del tiempo de eventos de seguridad de la red incluyen el pronóstico de la teoría gris, el pronóstico de series de tiempo, el pronóstico de análisis de regresión y el pronóstico basado en la representación de descomposición de ondas.
La tecnología de predicción de eventos de seguridad de red basada en el razonamiento del conocimiento incluye predicción basada en gráficos de ataques, predicción basada en la capacidad e intención del atacante, predicción basada en el comportamiento de ataque y aprendizaje de patrones. Debido a la aleatoriedad y la incertidumbre de los ataques a la red, muchos académicos están investigando actualmente métodos de predicción de situaciones basados en inteligencia artificial, utilizando algoritmos como redes neuronales y aprendizaje profundo para aprender y crear dinámicamente estrategias de ataque y modelos de comportamiento para lograr predicciones precisas de eventos de seguridad de la red. .
2.1.4 Seguimiento del origen del ataque a la red
La trazabilidad del ataque a la red restaura la ruta del ataque, determina la identidad desconocida del atacante y descubre la causa del ataque. Las tecnologías de trazabilidad de ataques tradicionales incluyen tecnología de trazabilidad basada en consultas de almacenamiento de registros, tecnología de trazabilidad basada en la depuración de tecnología de enrutador, tecnología de trazabilidad basada en la modificación de datos de transmisión de red, etc. Las fuentes de datos para la dimensión de rastreo, la dimensión de ubicación y la dimensión de política están dispersas y la mayoría de ellas son datos semiestructurados o incluso no estructurados. Por lo tanto, investigue y optimice la base de conocimientos de seguridad de la red, almacene datos sin procesar no estructurados y semiestructurados y Localice instantánea y rápidamente los datos originales. Particularmente importante.
2.2 Marco del sistema de conciencia situacional de seguridad de la red
Basado en el tráfico de red, la plataforma de infraestructura de big data y los registros del sistema de aplicaciones, este documento utiliza la identificación y percepción de riesgos de seguridad, el análisis retrospectivo de eventos de seguridad y tecnologías de alerta temprana y monitoreo de amenazas clave para construir un sistema de conciencia situacional de seguridad de red. Se introducen sistemas de sensibilización. La arquitectura del sistema se muestra en la Figura 2, que se divide en capa de procesamiento de acceso a datos, capa de análisis de datos y capa de aplicación de conocimiento de la situación. Los datos de acceso al sistema incluyen principalmente datos de sondeo de tráfico, registros enviados por plataformas y diversas aplicaciones.
Figura 2 Arquitectura del sistema de conciencia situacional de seguridad de red
La capa de procesamiento de acceso a datos define el sistema estándar de datos, que incluye principalmente la definición de estructura, la definición de reglas de lógica de datos, la definición de cumplimiento del contenido de datos, el método de interfaz interactiva de envío de registros y la definición de estructura y la aplicación de varios tipos de datos enviados por cada plataforma. Reglas semánticas y definiciones de estructuras para la notificación de las condiciones de funcionamiento en el registro de funcionamiento. Analice, limpie, clasifique, compare y marque los datos recopilados de manera estandarizada, guárdelos en categorías, ingrese datos de amenazas en la base de datos de inteligencia de amenazas, analice e ingrese los registros estandarizados enviados por la aplicación en tiempo real en la base de datos de registros. y proporcionar servicios de búsqueda, análisis y extracción de datos. La capa de procesamiento de acceso a datos adopta un marco de procesamiento de datos distribuidos en tiempo real para brindar soporte para capacidades de procesamiento de datos masivos.
La capa de análisis y minería analiza el origen del ataque, el objeto del ataque y la instalación de ataque en función de los datos de la sonda, evalúa el riesgo de la instalación atacada, analiza y estadística las características del ataque, detecta comportamientos de ataque clave y analiza la operación del usuario en función de registro del sistema de aplicación Análisis de auditoría de comportamiento, seguimiento y alerta temprana de usuarios anormales y comportamientos anormales.
La capa de aplicación empresarial analiza exhaustivamente las fuentes de ataque actuales, los métodos de ataque y las instalaciones atacadas en función de los datos de seguridad de la red, presenta el perfil de seguridad general de la plataforma actual a través del conocimiento de la situación y realiza análisis expertos sobre eventos de seguridad específicos a través del análisis de amenazas y eventos maliciosos. backtracking. , para realizar monitoreo de seguridad y alerta temprana de fuentes de ataque específicas, métodos de ataque e instalaciones atacadas. Proporcione servicios tales como análisis y conocimiento integral de la situación, análisis de amenazas, monitoreo de seguridad, seguimiento de fuentes, clasificación y estadísticas de registros, análisis de auditoría de registros y monitoreo de excepciones.
3. Sistema de conciencia situacional de seguridad de la red basado en Honghu Data Platform
El sistema de conocimiento de la situación de seguridad de la red existente generalmente utiliza el marco técnico de procesamiento de big data de transmisión Flume + Kafka + Spark Streaming para admitir el procesamiento en tiempo real de datos de tráfico en términos de tecnología de procesamiento de datos. Sin embargo, hay muchos sistemas comerciales y la gestión de plataformas de sistemas en diferentes niveles está relativamente dispersa. Los problemas se verifican básicamente mediante la resolución de problemas desde un solo punto y es difícil realizar el descubrimiento de problemas y el análisis de la causa raíz desde una perspectiva global.
Los registros están dispersos en varios dispositivos del sistema, los datos están aislados y el estado general no se puede administrar de manera unificada. Después de que ocurre una falla, es necesario redefinir el análisis del campo de extracción de los datos del registro original, lo que requiere mucho tiempo. Hay una falta de monitoreo del estado operativo del sistema y de las capacidades de servicio, y no hay buenos medios para predecir y advertir sobre anomalías del sistema. Además, el sistema de conocimiento de la situación de seguridad de la red necesita informes estadísticos, pero debido a que los datos dispersos no pueden proporcionar información y administración centralizadas, y no pueden rastrear ni registrar los comportamientos operativos de los usuarios, aún no ha cumplido con los requisitos de auditoría.
En la actualidad, el sistema de conocimiento de la situación de seguridad de la red todavía tiene el problema de la sobrecarga de datos. Para analizar exhaustivamente la situación de seguridad de la red, si se recopilan todos los datos de la red, la eficiencia del análisis será baja y los analistas no pueden ver todos los datos para analizar. Posibles ataques en el ciberespacio.
Para resolver el problema de la sobrecarga de datos recopilados, a menudo se diseñan reglas y características relevantes para diferentes tipos de comportamientos de amenazas, y se seleccionan varios comportamientos de amenazas conocidos para recopilarlos. Para ataques desconocidos, el comportamiento de ataque solo se puede reproducir a través de datos anormales. Análisis de trazabilidad. Dado que los datos anormales han sido preprocesados, contienen menos información original. Para el rastreo de origen, cuanto más detallados sean los registros de datos, más información de ataque se puede extraer. Para resolver los problemas anteriores, este documento construirá un sistema de conocimiento de la situación de seguridad de la red basado en Honghu Data Platform, una plataforma de procesamiento y análisis de big data en tiempo real.
3.1 Plataforma de datos Honghu
Honghu Data Platform es una plataforma de procesamiento y análisis de big data en tiempo real que adopta una arquitectura informática y de almacenamiento distribuido, recopila datos de máquinas internas y datos operativos de la empresa y utiliza tecnologías como análisis de correlación, reconocimiento de comportamiento, modelado de datos y análisis de máquinas. aprender a procesar datos Gestión y control centralizados, que proporcionan una recuperación rápida de la cantidad total de datos y análisis en tiempo real de big data, realizando almacenamiento de datos centralizado, consultas en tiempo real, análisis de correlación, alarma de seguridad, visualización visual y otras funciones. que se puede aplicar a análisis de seguridad, auditoría de cumplimiento, operación y mantenimiento inteligentes, negocios En términos de análisis, Internet de las cosas, etc., tiene poderosas capacidades de visualización de datos. La arquitectura de la plataforma se muestra en la Figura 3.
Figura 3 Vista panorámica de la arquitectura del sistema de plataforma de datos Honghu TM
Honghu Data Platform admite estructuras estructuradas, semiestructuradas y mixtas de varias series temporales y datos de texto, puede almacenar de manera eficiente datos sin procesar no estructurados y semiestructurados y logra una alta relación de compresión del almacenamiento de datos a través del almacenamiento en columnas, lo que ahorra costos de almacenamiento; y consultar y analizar directamente los datos originales para descubrir fácil y rápidamente el valor de los datos.
Durante la recopilación de datos, es responsable de conectar datos heterogéneos de diferentes fuentes de datos a la plataforma. El módulo de índice de datos identifica y analiza automáticamente la marca de tiempo de los datos, divide los datos de acuerdo con la marca de tiempo, segmenta los datos originales y construye una imagen invertida. índice. Los datos más recientes se almacenan temporalmente en la memoria flash. Después de que se cumplan ciertas condiciones, el índice y los datos originales se comprimirán y escribirán en el disco secuencialmente. La plataforma admite la inyección de datos de alta velocidad y un solo nodo puede alcanzar una velocidad de escritura de 20 MB/s.
Durante el análisis de datos, cree un motor para el análisis y la consulta SQL desde cero. Cuando el análisis SQL llegue a la plataforma, bloquee el rango de consulta de datos y cárguelo en la memoria. Utilice las reglas de modelado en tiempo de lectura utilizadas en la consulta para crear un modelo de datos. y luego agregue análisis de relaciones de clases, compilación en tiempo real y aceleración de computación vectorial y otras tecnologías para el análisis de datos, y un solo nodo puede procesar 1 millón de datos por segundo. La plataforma admite consultas ad hoc, consultas instantáneas, consultas interactivas, análisis de correlación y análisis de autoservicio, y proporciona potentes capacidades de análisis de datos.
Honghu Data Platform adopta un método de modelado híbrido, que combina la eficiencia del modelado al momento de escribir y la flexibilidad del modelado al momento de leer. "Modelado al escribir" se refiere al método ETL tradicional que necesita preestablecer el modelo de datos; "Modelado al leer" utiliza el método ELT de datos para extraer campos útiles mientras se buscan datos, que es más flexible y ágil, y ahorra el Costo de importación de datos. El flujo de análisis de datos de la plataforma se muestra en la Figura 4.
Figura 4 Diagrama de flujo de análisis de datos de la plataforma de datos Honghu
El modo de procesamiento de datos adoptado por Honghu Data Platform puede consultar y analizar directamente los datos originales y descubrir fácil y rápidamente el valor de los datos. Es una plataforma de análisis en tiempo real para big data heterogéneos y de múltiples fuentes. La plataforma adopta una arquitectura de microservicios y nativa de la nube y tiene sólidas capacidades de expansión de aplicaciones. Basada en la separación del almacenamiento y el cálculo de la plataforma, la expansión independiente y la arquitectura flexible, la plataforma puede usarse ampliamente en análisis de seguridad, auditoría de cumplimiento y operación inteligente. y mantenimiento, análisis de negocio, Internet de las cosas, etc.
3.2 Sistema de conocimiento de la situación de seguridad de la red basado en la plataforma de datos Honghu
Esta sección diseñará un sistema de conocimiento de la situación de seguridad de la red que integre la recopilación, procesamiento, análisis, descubrimiento de riesgos de seguridad, monitoreo, alarma y predicción de datos de seguridad basado en la plataforma de datos Honghu.
El sistema integra varias fuentes de datos sensoriales, como terminales de usuario, enlaces de red, sistemas de aplicaciones y tráfico de datos en el área segura. Los algoritmos analíticos, como los modelos de reglas de seguridad y los modelos de razonamiento de ataques, convierten registros de seguridad y datos de alarma caóticos y aparentemente desconectados en datos de alarma intuitivos y información visual de eventos de seguridad e inteligencia sobre amenazas mineras a partir de datos masivos para lograr el descubrimiento de riesgos y la seguridad Alerta temprana y conciencia situacional, mejorando las capacidades de monitoreo de seguridad para el descubrimiento de ataques y la conciencia situacional de seguridad. La arquitectura del sistema se muestra en la Figura 5, que realiza la agregación y el almacenamiento de datos de seguridad de múltiples fuentes, análisis de big data para inteligencia de amenazas y aplicaciones de conciencia situacional.
Figura 5 Sistema de conocimiento de la situación de seguridad de la red basado en la plataforma de datos Honghu
Basado en la poderosa capacidad de procesamiento de datos heterogéneos de múltiples fuentes de Honghu Data Platform, el sistema admite múltiples tipos de formatos de datos, lo que permite el conocimiento de la situación de seguridad de la red para obtener más tipos de datos. Las capacidades de almacenamiento masivo y procesamiento rápido de la plataforma de datos Honghu brindan soporte técnico para un análisis de seguridad en profundidad del tráfico de red de alta velocidad y brindan recursos informáticos para algoritmos de modelos altamente inteligentes. En el proceso de identificación de anomalías, se puede utilizar una granularidad de coincidencia más pequeña y un tiempo de coincidencia más prolongado para analizar el grado atípico del comportamiento desconocido.
Sobre la base de información de seguridad masiva, el sistema se centra en la utilización integral de datos de seguridad para análisis y procesamiento centralizados, y reconoce la situación de seguridad a través de métodos de procesamiento de fusión de datos, como clasificación y clasificación, filtrado optimizado, estadísticas comparativas, identificación de claves, tendencias. Inducción, análisis de correlación y predicción de minería. Se pueden percibir amenazas y riesgos, y se puede visualizar el conocimiento de la situación de acuerdo con las características comerciales del usuario y los requisitos de seguridad.
Basándose en la arquitectura de la plataforma de big data de Honghu, se aplica una gran cantidad de tecnologías de análisis y procesamiento de big data desde la recepción, el análisis, el almacenamiento hasta el análisis y la visualización de datos, que pueden hacer frente a escenarios de procesamiento de alta velocidad de datos masivos de información de seguridad en diferentes usuarios. ambientes.
El sistema de conocimiento de la situación basado en la plataforma de datos Honghu puede analizar directamente los datos de registro originales de manera eficiente y flexible, mejorar la eficiencia de la ubicación de fallas, reducir el impacto de las fallas y solidificar los indicadores de los nodos sobre la base de aclarar la relación de topología del enlace para realizar. Monitoreo en tiempo real y alerta temprana.
El sistema proporciona una capacidad de análisis de datos integral, que puede extraer el estado de operación del sistema del registro y formar un informe diario de operación y mantenimiento; guardar el registro de auditoría y analizar y clasificar el comportamiento del usuario, de modo que el comportamiento de seguridad del sistema Se puede rastrear y retroceder cómodamente.
3.3 Ejemplo de demostración
El sistema de conocimiento de la situación basado en la plataforma de datos Honghu incluye principalmente módulos funcionales como conocimiento de la situación, monitoreo de seguridad, inteligencia de amenazas, trazabilidad, descripción general de registros, registros de la plataforma de aplicaciones y análisis estadístico anormal. El sistema utiliza la plataforma de datos Honghu para el acceso, procesamiento y almacenamiento de datos, y admite la expansión horizontal de las capacidades de procesamiento de datos. Tomando una pequeña cantidad de datos de muestra como ejemplo, al importar archivos de página, los datos de registro de las fuentes de datos conectadas al sistema de conocimiento de la situación existente, como WAF, anti-DDOS, firewall, host bastión, etc., se importan rápidamente a la plataforma Honghu, como se muestra en la Figura 6.
Figura 6 Importación de datos
Honghu Data Platform proporciona una variedad de procesamiento de formatos de datos integrados, admite de forma inmediata y puede obtener una vista previa del efecto de procesamiento de los datos importados de acuerdo con el formato de datos seleccionado, como se muestra en la Figura 7.
Figura 7 Datos sin procesar
Una vez importados los datos, según la función única de modelado de lectura de tiempo de la plataforma de datos Honghu, se pueden realizar operaciones como regularización, enriquecimiento, filtrado y desensibilización en los datos durante la consulta de acuerdo con los requisitos de análisis de conciencia situacional, de modo que para completar rápidamente el modelado de datos y el análisis en tiempo real. Por ejemplo, realice estadísticas rápidas sobre la IP del atacante y el tipo de ataque, y la interfaz de análisis de datos se muestra en la Figura 8. Finalmente, a través de la API, los datos de muestra después del modelado y análisis del tiempo de lectura se envían al sistema de conocimiento de la situación para su visualización situacional.
Figura 8 Análisis de datos
Entre ellos, el módulo de conocimiento de la situación presenta la situación general de seguridad de la red y el contenido de la pantalla incluye estadísticas de amenazas de red, estadísticas de objetivos de ataques, fuentes de ataques y desarrollo de tendencias de seguridad, como se muestra en la Figura 9.
Figura 9 Estado general del conocimiento de la situación de seguridad de la red
El módulo de monitoreo de riesgos presenta el estado de monitoreo de seguridad del sistema de información de la red de manera visual, incluyendo principalmente descripción general, estadísticas de eventos, monitoreo de vulnerabilidades, monitoreo de amenazas, análisis de eventos de amenazas, análisis de tendencias, etc., como se muestra en la Figura 10.
Figura 10 Monitoreo de seguridad de la red
El módulo de descripción general de registros realiza un análisis estadístico de los registros de cada plataforma de aplicación, incluido el volumen de registros, las condiciones anormales y las condiciones de auditoría de cada plataforma, como se muestra en la Figura 11.
Figura 11 Descripción general del registro
Basado en la extensa interfaz de informes de registros de aplicaciones de Honghu Data Platform, los registros de la plataforma de aplicaciones admiten consultas y recuperación de varios registros de plataformas de aplicaciones, análisis de detalles de registros y auditoría de comportamientos relacionados con registros, como se muestra en la Figura 12.
Figura 12 Registros de la plataforma de aplicaciones
4. Conclusiones y direcciones futuras de investigación.
El sistema de concientización de seguridad situacional basado en la plataforma de datos Honghu utiliza tecnologías en campos clave como almacenamiento masivo de datos, separación de almacenamiento y cálculo, modelado durante la lectura, limpieza de datos, análisis y extracción de datos, análisis de visualización de datos, inteligencia artificial, etc. para formar una conciencia situacional de seguridad de red segura y confiable. El sistema ha establecido capacidades de percepción y monitoreo de seguridad de big data integrales y jerárquicas.
Sobre la base de las poderosas capacidades de integración heterogénea de múltiples fuentes de Honghu Data Platform, en el futuro, será posible construir un plan de datos que describa el análisis de valor en profundidad de los datos con entidades y relaciones, y llevar a cabo análisis estandarizados basados en modelos. y procesamiento de datos unificados y gobernanza de datos; en términos de recopilación de datos, construir un sistema integral de percepción y recopilación de big data seguro para la adquisición de ubicación, agregación en toda la red e integración de dimensiones completas; en términos de fusión de datos, una fusión de recursos de datos El sistema con procesamiento inteligente, gobernanza fina y organización clasificada se construye de manera integral para formar una agregación integral de asociaciones generales, índices generales y navegación general.