Introducción: frente a puntos débiles como tipos de bases de datos diversificados, diferentes funciones y baja eficiencia de control y gestión entre clientes, ¿cómo elegir una herramienta que no solo admita puntos de acceso unificados, sino que también garantice la seguridad de las fuentes de datos y logre eficiencia? operaciones de datos? ? Como profesional, una gran compañía de seguros nacional compartirá sus opciones desde cuatro aspectos: antecedentes comerciales y puntos débiles, selección y personalización de productos, problemas encontrados al usar CloudQuery (en lo sucesivo, "CQ") y planes futuros de cooperación con CQ.proceso y pensamiento.
Sobre el autor: Wang Ke actualmente trabaja para una gran empresa de gestión de seguros como DBA y es el principal responsable de la base de datos localizada PolarDB, la base de datos de código abierto, los proyectos de plataforma de control y gestión de seguridad de la base de datos y los proyectos relacionados con la operación y el mantenimiento del conocimiento de la base de datos.
Antecedentes comerciales y puntos débiles
En el entorno tecnológico actual, nos enfrentamos a importantes desafíos en la gestión y procesamiento de datos. Con el rápido desarrollo de la tecnología, han surgido varios productos de bases de datos diversificados, no solo de muchos tipos, sino también de diferentes formas: hay más de mil bases de datos nacionales, más de cien bases de datos de código abierto y algunas bases de datos tradicionales como como Oracle y MySQL.base de datos. Estos productos de bases de datos tienen sus propias ventajas y características y pueden satisfacer diferentes necesidades comerciales.
Sin embargo, para nuestra industria aseguradora, el avance tecnológico también ha traído dos problemas muy difíciles:
1. Falta de un cliente de operación de base de datos unificado
2. El control de permisos no es fácil de controlar y son relativamente deficientes la supervisión sensible de las operaciones y las auditorías de seguridad.
Falta de un cliente de operación de base de datos unificado
Actualmente, existen muchos tipos de clientes de bases de datos de producción nacional con diferentes funciones. Por ejemplo: PolarDB usará Polar Stack, OceanBase usará OCP y Dameng tendrá su propia interfaz de herramienta de administración Estas bases de datos involucran más derechos de autor.
Al mismo tiempo, la eficiencia de la gestión y el control entre clientes no es alta. Tomando como ejemplo la base de datos PolarDB que administro actualmente, más de cien bases de datos están distribuidas en más de diez clústeres Polar Stack. Para cada operación de base de datos, se debe ingresar la IP y el puerto de acceso a la base de datos en el servidor del clúster Stack correspondiente. Esto significa que si quiero operar y mantener 10 conjuntos de bases de datos, tengo que iniciar sesión en 10 IP y puertos, y tengo que abarcar diferentes clústeres de servidores. Dicha eficiencia de operación y control no es muy alta.
Para las bases de datos de código abierto, la mayoría de las bases de datos de código abierto actuales utilizan clientes controlados por terceros, a los que es difícil cumplir con los estándares de control de seguridad estipulados por la empresa.
control de permisos
El control de permisos se refleja principalmente en el monitoreo de operaciones sensibles y la relativa falta de contenido de auditoría de seguridad.
Frente a los dos problemas relativamente difíciles anteriores, necesitamos construir un puerto de acceso de seguridad unificado, asignar permisos, lograr operaciones de datos eficientes y realizar auditorías de seguridad para todo el proceso. Hablemos de los problemas que deben resolverse para las diferentes necesidades.
- Acceso de seguridad unificado >> Se accede a todos los datos a través de una plataforma unificada, estandarizando la forma en que el personal interno se conecta a la base de datos y facilitando la posterior gestión y control centralizado.
- Asignación de permisos >> Determine las funciones del usuario y los escenarios de aplicación, y asigne permisos iniciales detallados a los usuarios en función de la importancia de los recursos de la base de datos para evitar el riesgo de violaciones y fuga de información causadas por el abuso de altos privilegios.
- Operación de datos >> Se espera que las funciones integradas puedan adaptarse a escenarios de aplicaciones industriales, mejorar la eficiencia de operación y mantenimiento y proporcionar funciones como desensibilización y exportación de datos.
- Auditoría de comportamiento >> Espero que sea una auditoría de ciclo completo con amplia cobertura. Según el informe de resultados de la auditoría, puede obtener una descripción general de la ejecución de los datos y el estado de seguridad, lo que ayuda al personal interno a comprender la situación general de seguridad de la ejecución.
Selección de productos y personalización de productos.
Con base en los puntos débiles y las necesidades anteriores, debemos elegir una plataforma de control y gestión de seguridad de la base de datos. Después de hacer un poco de investigación de mercado, finalmente nos centramos en dos productos.
Para aceptar más tipos de bases de datos, especialmente aquellas que pueden cumplir con los estándares de los tipos de bases de datos nacionales personalizados, debemos proporcionar servicios estables para soportar los problemas que podemos encontrar al enfrentarnos a nuevas bases de datos. En base a estas necesidades, finalmente elegimos CloudQuery y utilizamos CloudQuery 2.3 Enterprise Edition como primer ciclo de proyecto en 2021-2022.
Los tipos de bases de datos involucrados en este proyecto incluyen: Ocenbase, PolarDB, Dameng, mongodb, mysql, redis, postgreSQL, Oracle. Implementado en forma de clúster, se estima que hay más de mil usuarios dentro de la empresa y la cantidad de bases de datos conectadas ha llegado a más de 1000.
Después de describir nuestras necesidades con CloudQuery, CloudQuery también proporcionó las soluciones correspondientes. A falta de un cliente unificado, la solución de CloudQuery es un cliente de operación de base de datos unificada de desarrollo propio integrado en la plataforma, que puede aceptar una variedad de bases de datos .
Para el problema de que las operaciones de la base de datos son difíciles de controlar y los permisos no se pueden monitorear, y los comportamientos sensibles no se pueden monitorear, se implementa una administración unificada de permisos y usuarios de la base de datos, y se implementan control de permisos unificados, auditoría de seguridad y monitoreo de comportamiento y alarmas para las operaciones de la base de datos. .
En vista del control global de permisos, el estándar de acceso de usuario único y las necesidades de localización de la base de datos subyacente que actualmente requieren diez empresas, también hemos personalizado algunos contenidos, como la vista de permisos globales, el acoplamiento del centro de usuarios y el reemplazo del base de datos subyacente de la plataforma con PolarDB, alarmas de monitoreo de comportamiento y exportación masiva de datos entre esquemas... Este conjunto de contenido está actualmente en línea y se aplica en varios departamentos de la empresa.
En términos generales, el lanzamiento de este conjunto de productos personalizados satisface las necesidades de gestión y control unificado digital doméstico. Al mismo tiempo se consigue una gestión unificada de grandes lotes de bases de datos, mejorando la eficiencia de gestión, control y operación.
La siguiente imagen es una introducción detallada de cómo se utilizan los productos personalizados mencionados anteriormente en nuestra empresa:
Problemas encontrados al usar CQ
Nuestro ciclo de proyecto se concentra en 2022. Durante este proyecto, también encontramos algunos problemas de uso, que simplemente resumí en tres categorías principales:
1) El problema de adaptar varios controladores de bases de datos en la etapa inicial del proyecto, especialmente el problema de adaptar controladores de bases de datos localizados como OBPD.
2) Cuestiones funcionales, como el soporte de CQ para funciones especiales integradas en diferentes bases de datos, el diseño de vistas de permisos globales, funciones de exportación por lotes y la mejora continua de las páginas de auditoría, como aumentar el monitoreo de la ejecución de SQL y el monitoreo de usuarios de alta frecuencia. .
3) Problemas de rendimiento, como la eficiencia de ejecución de OceanBase y MongoDB, el impacto en la estabilidad del clúster del banco de trabajo y el reemplazo de la base de datos de transmisión de OceanBase para mejorar la experiencia del usuario.
Aunque habrá algunos problemas en la etapa inicial de lanzamiento, un nuevo producto también debe adaptarse constantemente a nuestro entorno de producción. Sólo optimizando el producto a través de los problemas encontrados en las aplicaciones prácticas podremos descubrir y construir un producto que se adapte a nosotros. Durante todo el proyecto, CQ también nos brindó un gran apoyo, lo que finalmente permitió a CQ brindar un mejor soporte de control y gestión de bases de datos estable y diversificado.
Hablando de la experiencia de usuario de CQ 2.4
A principios de julio se lanzó oficialmente CQ 2.4 y lo probé por primera vez. Aquí hablaré de mi experiencia. En términos generales, CQ 2.4 tiene funciones más ricas y está más en línea con las necesidades de nuestro negocio de producción en muchos aspectos., el siguiente es un ejemplo sencillo:
- Desde la perspectiva de los tipos de bases de datos compatibles, 2.4 ha completado la adaptación a GaussDB, que es lo que esperamos al usar la versión 2.3.
- Desde la perspectiva de los permisos de operación de la base de datos, CQ ha agregado una función de filtrado de esquemas en el módulo "Gestión de recursos". Esto permite a los auditores de seguridad filtrar el esquema que viene con la base de datos y es inútil para la autorización del usuario comercial antes de la autorización. Esto es más claro y más conciso para la autorización.
- La gestión de autorizaciones también ha sufrido cambios importantes. CQ 2.4 divide varias bases de datos en categorías pequeñas. Cada categoría de bases de datos tendrá un subconjunto de N enlaces de bases de datos, de modo que los permisos personalizados de esta categoría puedan definirse y autorizarse de manera uniforme.
Como puede verse en la imagen de arriba, los permisos son más detallados y los estándares de permisos únicos se pueden personalizar según sus propias necesidades. - Desde la perspectiva de las funciones de control y gestión de seguridad, la versión 2.4 presta más atención a la gestión y control de seguridad. Como puede verse en la figura siguiente, la desensibilización de datos, la protección de datos y la auditoría se han configurado como módulos funcionales independientes, y las funciones de cada módulo son más ricas y detalladas y pueden cumplir mejor con los estándares de control de seguridad. También admite importación de texto, conjuntos de resultados editables y copiables, copia de seguridad de la base de datos desde la base de datos original a la base de datos de destino y visualización de permisos asociados de monitoreo para detalles de auditoría.
plan futuro
En la segunda mitad del año, completaremos gradualmente el reemplazo de las versiones nueva y antigua y, una vez que la versión esté estable, también trabajaremos con CQ para formular un plan de migración de datos. Primero se completará la migración de parte del entorno de producción. Cuando el entorno de producción esté estable, todos los enlaces de la base de datos en 2.3 se reemplazarán y se cambiarán oficialmente a 2.4.
Además, continuaremos mejorando los requisitos funcionales y solucionando nuevos problemas durante el uso. También esperamos mejorar el progreso y la eficiencia del proyecto a través de la cooperación con CQ. Finalmente, también esperamos que CQ pueda desarrollarse mejor como producto. proporcionar un fuerte soporte para más usuarios.