En marzo de 2023, el Ministerio de Ciencia y Tecnología, junto con la Fundación de Ciencias Naturales de China, lanzó el trabajo de despliegue especial de " Investigación científica impulsada por inteligencia artificial ( AI for Science) ". Zhao Zhiyun, director del Centro de Investigación de Desarrollo de Inteligencia Artificial de Nueva Generación del Ministerio de Ciencia y Tecnología, cree que la IA para la ciencia superará el cuello de botella de las capacidades de investigación científica tradicionales y se convertirá en un nuevo paradigma de investigación científica global. Tomando el campo de la teledetección como ejemplo, la tecnología de IA tiene excelentes capacidades de extracción y expresión de características en la coincidencia de imágenes, y puede obtener información de atributos rica y precisa a partir de datos de teledetección heterogéneos masivos, para extraer la ley de evolución del área objetivo. Las imágenes de teledetección de alta calidad tienen amplias perspectivas de aplicación en el monitoreo de desastres, meteorología, aspectos militares y muchos otros.
Sin embargo, si bien la introducción de AI for Science ayuda a los investigadores en el campo de la detección remota a resolver problemas complejos, también presenta desafíos para la infraestructura y los flujos de trabajo tradicionales. En los últimos años, con el apoyo de plataformas adecuadas, muchas instituciones de investigación científica han explorado continuamente la viabilidad de la integración y aplicación de grandes datos de teledetección y nuevas tecnologías de IA.
Fundado en 1957, el Centro de teledetección y prospección geofísica aérea de recursos naturales de China es un centro técnico profesional dedicado a la investigación, el desarrollo y la aplicación de tecnología de teledetección y prospección geofísica aérea en mi país; el organismo operativo del Centro de innovación de tecnología de ingeniería se centra en sobre la investigación y el desarrollo de nueva tecnología de observación de teledetección espacial/aeronáutica, así como la investigación y el desarrollo de investigaciones y aplicaciones integrales de teledetección en el campo de los recursos naturales/geología, y la investigación y desarrollo de sistemas de aplicaciones de ingeniería.
El Instituto de Tecnología de Aplicaciones de Teledetección (en adelante, el "Instituto"), como líder científico y tecnológico en el campo de la prospección geofísica aérea y la teledetección, espera romper la situación actual de separación de datos de teledetección, modelos de algoritmos y recursos informáticos, y análisis completo de datos a gran escala a través de la implementación en la nube. Al mismo tiempo , se espera mejorar la eficiencia de transformación de los resultados de la investigación y promover la innovación colaborativa del "gobierno, la industria, la universidad, la investigación y la aplicación" .
Con base en los requisitos anteriores, ModelWhale, una subsidiaria de Hejing Technology, privatizó la implementación de herramientas a nivel de plataforma para el instituto de investigación y creó conjuntamente una plataforma integrada de desarrollo e implementación de alta disponibilidad y alta simultaneidad para ayudar a promover la reforma de la IA para Paradigma de la investigación científica de la ciencia .
Punto crítico 1: falta de canales de integración adecuados para los recursos informáticos y de almacenamiento
Con la aplicación a gran escala de la tecnología de IA, el Instituto ha introducido la aceleración de GPU del pasado utilizando la programación ENVI-IDL. Aunque se ha mejorado la eficiencia, la tarjeta única de una sola máquina y la tarjeta múltiple de una sola máquina todavía están completamente cargadas. e inutilizable pronto. En la actualidad, los investigadores generalmente usan clústeres de GPU para problemas intensivos en datos y computación. Después de intentarlo, el instituto de investigación descubrió que todavía hay una cierta desviación entre esto y las necesidades reales. El instituto de investigación está afiliado al Centro de Aviación y Remoto y tiene recursos de potencia de cómputo relativamente suficientes. No solo espera que cada investigador pueda tener su propio entorno de práctica, sino que también espera que todos los recursos de cómputo se puedan concentrar para algunos proyectos a gran escala y problemas informáticos complejos Por lo tanto , la demanda real es una plataforma que pueda ayudarlo a integrar y programar recursos informáticos y de almacenamiento.
Solución: acceso local, administración y control intensivos, implementación eficiente, clúster de GPU
En este sentido, basándose en la estructura de optimización de la infraestructura existente del instituto de investigación, ModelWhale conecta el hardware informático local existente y disperso a la nube y utiliza la arquitectura nativa de la nube de la plataforma para llevar a cabo una operación y un mantenimiento intensivos controlables, flexibles y seguros. y aprovisionamiento dividido granular detallado.
Después de acceder a los recursos de potencia de cómputo locales, cuando se deben procesar tareas de cómputo a gran escala, ModelWhale puede formar GPU de múltiples máquinas y tarjetas en una potencia de cómputo de clúster para su uso . Los clústeres de GPU basados en la computación paralela de Horovod pueden lograr el doble de eficiencia informática y son adecuados para el procesamiento paralelo multinivel de imágenes de teledetección, lo que también proporciona una garantía para la aplicación del Instituto en proyectos sensibles al tiempo, como el monitoreo de desastres.
En la investigación diaria, la potencia informática de la plataforma de acceso puede dividirse según la cantidad de núcleos y el tamaño de la memoria, y asignarse a diferentes investigadores y equipos de proyectos . Cuando el proyecto se está ejecutando, la plataforma ayudará a los investigadores a programar automáticamente instancias de máquinas coincidentes y cargar automáticamente el entorno de software, los datos y los archivos necesarios. Durante el proceso de uso, los investigadores pueden verificar el uso de la potencia informática, la memoria y el disco en cualquier momento, y si encuentran que los recursos no son suficientes, pueden iniciar una aplicación para obtenerlos.Este proceso automatizado alivia en gran medida la presión sobre la operación interna y el mantenimiento del instituto de investigación.
Finalmente, cuando se cierra el proyecto, la plataforma liberará automáticamente los recursos informáticos y, al mismo tiempo, almacenará los archivos del proyecto de manera persistente, para garantizar que se pueda mejorar la tasa de utilización de los recursos informáticos y que se pueda reducir el costo de la potencia informática. reducido tanto como sea posible . Con la ayuda de la poderosa capacidad de programación de recursos y el mecanismo perfecto de gestión de recursos de ModelWhale, el instituto de investigación ha superado las limitaciones de su arquitectura subyacente y ha realizado la aplicación de minimizar el consumo de energía y maximizar la eficiencia de los recursos de potencia informática local.
Se puede seleccionar una variedad de recursos informáticos a pedido
Punto de dolor 2: baja eficiencia de ajuste del modelo
En comparación con los datos de imágenes naturales, la composición de los datos de teledetección es más complicada, y la inconsistencia de los parámetros físicos de los satélites, sensores y otros equipos de adquisición hace que las fuentes de datos de teledetección sean diferentes en muchos aspectos. Por lo tanto, los parámetros deben ajustarse con más frecuencia en el proceso de investigación experimental de teledetección y datos comparar visualmente los diferentes resultados del procesamiento. Es engorroso y lento prestar atención a la finalización de las tareas de capacitación para garantizar la continuidad de los experimentos, por lo que los investigadores del instituto esperan utilizar tecnología y plataformas para automatizar este proceso y mejorar la eficiencia del ajuste del modelo .
Solución: alojamiento en la nube multiparámetro, resultados de comparación visual
Basado en ModelWhale, para tareas de capacitación con una gran cantidad de cálculos, los investigadores pueden usar alojamiento sin conexión para ejecutar archivos de proyecto de script o Notebook . Las tareas sin conexión no tienen límite de tiempo de ejecución y se completan automáticamente en la nube. La liberación de tareas no afectará a los investigadores. Usar la computadora para otros trabajos. ModelWhale proporciona una interfaz de notificación, y los investigadores pueden recibir notificaciones de la finalización de la capacitación directamente desde el correo electrónico o el software social, sin tener que vigilar el estado de ejecución de la tarea.
Combinado con las características de los datos de detección remota, para seleccionar el algoritmo más efectivo, los investigadores también pueden establecer diferentes combinaciones de parámetros por adelantado, permitir que varias máquinas completen el entrenamiento del modelo unificado bajo diferentes configuraciones de parámetros y combinar grupos de GPU para acortar el tiempo de entrenamiento La información de hiperparámetros de la sesión de entrenamiento proporciona un informe de comparación visual para comparar y analizar los pros y los contras de los modelos desde más ángulos, lo que ayuda a los investigadores a seleccionar el modelo más adecuado. Una vez que la tarea se ejecuta con éxito, el investigador puede guardar el resultado de la operación fuera de línea, generar el archivo de resultados o llamar al archivo de proceso producido durante el entrenamiento en cualquier momento.
La función de comparación de índices de capacitación y capacitación fuera de línea proporcionada por ModelWhale ha creado un proceso de ajuste altamente automatizado y altamente visualizado, combinado con la programación flexible de los recursos informáticos, y ha acortado de manera integrada el ciclo de desarrollo de los algoritmos de aprendizaje profundo de detección remota.
Cree tareas fuera de línea usando grupos de parámetros múltiples del clúster de GPU
Punto crítico 3: El método de gestión de datos y flujo de trabajo debe actualizarse con urgencia
La reconstrucción del flujo de trabajo tradicional es uno de los problemas que el instituto de investigación necesita resolver con urgencia. Después de la adopción a gran escala de la IA, la migración del trabajo a la plataforma python puede estar altamente integrada con el aprendizaje profundo, pero es imposible administrar los datos. , algoritmos y modelos de manera unificada forman la acumulación de activos . El instituto de investigación a veces necesita acceder a cientos de escenas de datos todos los días, y la gran cantidad de datos hace que el trabajo en la etapa de preparación de datos sea muy engorroso. Además, incluso si el modelo de algoritmo se forma en una etapa posterior, la implementación y operación del modelo de análisis de datos de sensores remotos puede depender de diferentes entornos de software y hardware, incluidos sistemas operativos, compiladores, bibliotecas de soporte, etc., y es Difícil de implementar bajo demanda.
Solución: gestión integral de procesos completos de objetos de investigación, desde datos, algoritmos hasta modelos
En respuesta a los problemas anteriores, ModelWhale utiliza herramientas de desarrollo altamente integradas para ayudar al instituto de investigación a construir un flujo de trabajo eficiente.
Basado en la plataforma, el instituto de investigación puede acceder a varios datos almacenados localmente, bases de datos, almacenamiento de objetos y espacio NAS de múltiples maneras y administrarlos de manera unificada El flujo de colaboración estandarizado de la plataforma puede ayudar a los miembros del equipo de investigación a utilizar varios materiales de producción simultáneamente para la investigación de análisis. En segundo lugar, los investigadores pueden personalizar el entorno de la imagen en la nube de acuerdo con los requisitos de operación e implementación del modelo de análisis de datos de detección remota.El entorno personalizado se puede describir en función de la especificación de la plataforma, y solo necesita compartir la imagen con otros o ayudar a otros a reconstruir se puede garantizar desde el nivel del entorno Reproducción fuera del sitio del modelo del algoritmo. Como tecnología, la teledetección a menudo se aplica para resolver problemas en diferentes campos. Por lo tanto, para el modelo desarrollado, la plataforma también proporciona una implementación automática con un solo clic para simplificar la complejidad del modelo desde el desarrollo hasta la aplicación.
Para la gestión de procesos de proyectos, ModelWhale admite el desmantelamiento del proyecto en múltiples etapas de tareas para el control macro.Los investigadores en varios campos pueden verificar el progreso en las tareas subdivididas y aclarar la división de responsabilidades de cada persona. Los resultados de las tareas se pueden enviar de varias formas y otros miembros pueden verlos en línea simultáneamente, lo que favorece la sincronización de la información dentro del equipo, controla el ritmo general y mejora la eficiencia de entrega de los temas de investigación.
Finalmente, los investigadores pueden seleccionar el entorno de análisis de tiempo de ejecución, los conjuntos de datos y las versiones del código del algoritmo, integrar los elementos de producción y complementar ciertas descripciones de texto, y depositarlos en la base de datos interna de logros de la organización, lo cual es conveniente para su posterior reproducción en cualquier momento .
Además, los proyectos, datos, archivos y videos dentro del equipo pueden organizarse en forma de carpetas y etiquetas, y depositarse en la base de conocimiento del equipo para que todos los usen.
Gestión de la base de conocimientos del equipo de ModelWhale
conclusión
Bajo la guía de la revolución tecnológica y las políticas de alto nivel, la comunidad de investigación científica está prestando cada vez más atención a la inteligencia artificial. En el futuro, la tecnología de IA puede convertirse en un servicio básico, al igual que el procesamiento y la aplicación de datos de teledetección, ampliará los métodos y métodos de investigación científica en varios campos y cambiará el modo de colaboración entre investigadores científicos.
En este proceso de aceptación de nuevas ideas y búsqueda de cambios, la edición de investigación científica ModelWhale de Hejing Technology se centra en la innovación colaborativa de la investigación basada en datos. Se trata y fortalece la investigación científica organizada. Investigación La gestión integral de procesos completos de objetos de investigación , como algoritmos y modelos, mejora la reproducibilidad de la investigación científica desde el nivel de infraestructura y ayuda a crear una buena ecología de investigación científica de colaboración y colaboración, basada en el principio FAIR y el concepto de investigación científica abierta, datos y otros materiales de producción de investigación Proporcione un portal compartido abierto seguro y completo y un banco de trabajo interactivo en línea ; la integración heterogénea, la gestión y el control intensivos, la asignación bajo demanda, la respuesta ágil y la potente gestión de la programación de la potencia informática lo hacen posible para que las computadoras personales llamen a los modelos de lenguaje grande de LLM, y también hagan que los recursos de poder de cómputo Maximicen la disponibilidad dentro del equipo de la organización; introduzca el concepto ModelOps para ayudar a administrar el ciclo de vida completo de los modelos grandes.
La versión de investigación científica de ModelWhale cubre campos profesionales como ciencias de la tierra, biomedicina, humanidades y ciencias sociales, y ha implementado las mejores prácticas en instituciones nacionales de investigación científica como el Centro Nacional de Información Meteorológica y el Centro de Prospección Geofísica y Teledetección de Recursos Naturales de China. de investigación de innovación de datos y sus equipos brindan apoyo. Para cualquier necesidad relacionada, puede ingresar al sitio web oficial de ModelWhale para registrarse y experimentar, o haga clic en [Contactar al asesor de productos (redireccionar al terminal móvil)] para comunicarse con nosotros.