Autor: Li Ruifeng
Título del trabajo
StreamE: Actualizaciones ligeras de representaciones para gráficos de conocimiento temporales en escenarios de transmisión
Fuente de papel
VACA 2023
Enlace de papel
https://dl.acm.org/doi/10.1145/3539618.3591772
enlace de código
https://github.com/zjs123/StreamE_MindSpore
Como marco de IA de código abierto, MindSpore ofrece colaboración entre la industria, la universidad, la investigación y los desarrolladores en un escenario completo, desde el borde del dispositivo hasta la nube, desarrollo minimalista, máximo rendimiento, preentrenamiento de IA a ultra gran escala, desarrollo minimalista y una plataforma segura y confiable. experiencia, 2020.3.28 El código abierto tiene más de 5 millones de descargas. MindSpore ha respaldado cientos de artículos de conferencias importantes sobre IA, se ha impartido en más de 100 universidades y está disponible comercialmente en más de 5000 aplicaciones a través de HMS. y en el campo del centro de computación de inteligencia artificial, las finanzas, la fabricación inteligente, las finanzas, la nube, la tecnología inalámbrica, las comunicaciones de datos, la energía, el consumo 1 + 8 + N, los automóviles inteligentes y otros escenarios de automóviles en la nube de última generación se están utilizando gradualmente. es el software de código abierto con el índice Gitee más alto. Todos son bienvenidos a participar en contribuciones de código abierto, kits, modelos de inteligencia colectiva, innovación y aplicaciones de la industria, innovación de algoritmos, cooperación académica, cooperación de libros de IA, etc., y contribuir con sus casos de aplicación en el lado de la nube, el lado del dispositivo, el lado del borde y campos de seguridad.
Con el amplio apoyo de SunSilicon MindSpore por parte de la comunidad científica y tecnológica, la academia y la industria, los artículos de IA basados en SunSilicon MindSpore representaron el 7% de todos los marcos de IA en 2023, ocupando el segundo lugar en el mundo durante dos años consecutivos. Gracias a CAAI y. todas las universidades Con el apoyo de los profesores, continuaremos trabajando duro juntos para realizar investigación e innovación en IA. La comunidad MindSpore apoya las principales investigaciones en artículos de conferencias y continúa generando resultados originales de IA. De vez en cuando seleccionaré algunos artículos excelentes para impulsar e interpretar. Espero que más expertos de la industria, el mundo académico y la investigación cooperen con Shengsi MindSpore para promover la investigación original de IA. La comunidad de Shengsi MindSpore continuará apoyando la innovación y las aplicaciones de IA. es de Shengsi Para el artículo número 15 de la serie de artículos de conferencias principales de MindSpore AI, elegí interpretar un artículo del equipo del profesor Shao Jie de la Facultad de Ciencias de la Computación de la Universidad de Ciencia y Tecnología Electrónica de China. agradecer a todos los expertos, profesores y compañeros por sus aportaciones. Este artículo se ha subido a Zhihu, haga clic para leer el texto original y verlo.
MindSpore tiene como objetivo lograr tres objetivos principales: desarrollo sencillo, ejecución eficiente y cobertura completa de escenarios. A través de la experiencia de uso, MindSpore, un marco de aprendizaje profundo, se está desarrollando rápidamente y el diseño de sus diversas API se optimiza constantemente en una dirección más razonable, completa y poderosa. Además, varias herramientas de desarrollo que surgen constantemente de Shengsi también están ayudando a este ecosistema a crear métodos de desarrollo más convenientes y poderosos, como MindSpore Insight, que puede presentar la arquitectura del modelo en forma de diagrama y también puede monitorear dinámicamente varios aspectos. del modelo durante el tiempo de ejecución. Los cambios en los indicadores y parámetros hacen que el proceso de desarrollo sea más conveniente.
01
Antecedentes de la investigación
El método de incrustación de gráficos de conocimiento temporal tiene como objetivo aprender la representación vectorial de los elementos en el gráfico de conocimiento temporal basándose en la retención de la temporalidad del gráfico de conocimiento temporal. Aunque los trabajos existentes pueden representar gráficos de conocimiento temporal como vectores de baja dimensión, estos trabajos suponen que no se agregará ningún conocimiento nuevo a los gráficos de conocimiento temporal, lo que obviamente no es razonable. El conocimiento en el mundo real se actualiza constantemente, por lo que continuamente se agregarán nuevos conocimientos al gráfico de conocimiento. Este escenario se denomina escenario de flujo. El trabajo existente enfrenta principalmente los siguientes tres problemas cuando se aplica a escenarios de transmisión:
(1) Primero, las nuevas entidades continuarán acumulándose en el gráfico de conocimiento a medida que el conocimiento se actualice. El trabajo existente aprende directamente la representación de incrustación fija de cada entidad, por lo que no pueden generar representaciones de incrustación para nuevas entidades.
(2) Varios eventos en el mundo real ocurren todo el tiempo, lo que resulta en actualizaciones muy frecuentes del conocimiento. El trabajo existente requiere regenerar la representación incrustada del momento actual desde cero en cada momento, lo que dificulta su aplicación en la vida real. -áreas de la vida que requieren una respuesta rápida, como los sistemas de alerta temprana de crisis.
(3) El trabajo existente solo puede obtener representaciones de incorporación de entidades con marcas de tiempo de conocimiento relevantes. Sin embargo, los requisitos en el mundo real se generan en cualquier momento y el trabajo existente siempre devolverá la misma representación incrustada hasta que se produzca la siguiente actualización de conocimiento, lo que hará que el modelo dé la misma respuesta durante este período, lo que obviamente no es correcto.
Por lo tanto, aunque los trabajos existentes han logrado cierto éxito, ninguno de ellos se puede aplicar a escenarios de transmisión que son muy comunes en el mundo real (como sistemas de recomendación, sistemas de alerta de crisis, etc.).
02
introducción del equipo
El primer autor del artículo, Zhang Jiasheng, es un estudiante de doctorado de segundo año en la Facultad de Ciencias de la Computación de la Universidad de Ciencia y Tecnología Electrónica de China. Sus intereses de investigación incluyen el aprendizaje de la representación de gráficos dinámicos, los gráficos de conocimiento secuencial y la minería de datos espaciotemporales. . Hasta ahora, se han publicado un total de 5 artículos, incluidos 2 artículos de conferencia CCF de categoría A, 1 artículo de conferencia CCF de categoría B y C y 1 artículo de revista en la primera región de la Academia de Ciencias de China. patentes de invención nacionales y 2 derechos de autor de software. Presidió la finalización del proyecto clave del Proyecto Plántula de Innovación y Emprendimiento del Departamento Provincial de Ciencia y Tecnología de Sichuan, "Investigación y aplicación del modelo de aprendizaje de representación de gráficos de conocimiento guiado por conocimiento secuencial", y fue seleccionado para DiDi-Future Proyecto Conjunto Elite Escuela-Empresa de Formación de Talento. Ha ganado numerosas becas académicas de la Universidad de Ciencia y Tecnología Electrónica de China y los títulos de "Excelente Estudiante de Posgrado" e "Individuo Avanzado en Innovación Científica y Tecnológica".
El asesor de tesis Shao Jie es profesor y supervisor de doctorado en la Universidad de Ciencia y Tecnología Electrónica de China. Ha publicado más de 100 artículos académicos de alto nivel (incluidos IEEE TKDE, IEEE TNNLS, IEEE TCYB, IEEE TMM, IEEE TGRS, IEEE). THMS, IEEE TCSVT, ACM TOIS y ACM Journals como TOMM y conferencias como ACM MM, IEEE ICDE, VLDB, IJCAI y AAAI). Presidió 2 proyectos generales de la Fundación Nacional de Ciencias Naturales de China y 1 proyecto clave de I+D de la provincia de Sichuan. Como responsable de la unidad cooperativa, llevó a cabo 1 proyecto clave de la Fundación Nacional de Ciencias Naturales de China. También se desempeñó como recomendador de APWeb. -WAIM 2019, la Conferencia Internacional sobre el Campo de Big Data recomendada por el Presidente del Comité del Programa de la Sociedad de Computación de China. Ganó el segundo premio del Premio al Progreso Científico y Tecnológico Provincial de Sichuan 2021.
El Centro de Investigación de Medios Futuros de la Universidad de Ciencia y Tecnología Electrónica de China, donde se encuentra el autor del artículo, ha llevado a cabo ciertas investigaciones en la dirección de gráficos de conocimiento multimodales, gráficos de conocimiento temporal y construcción, razonamiento y solicitud. Se están investigando varios proyectos provinciales, ministeriales y nacionales relevantes.
03
Introducción al artículo
Este artículo propone un marco de representación de incrustación liviano (StreamE) para resolver el problema de que los métodos de incrustación de gráficos de conocimiento temporal previos no se pueden aplicar a escenarios de transmisión. Creemos que la razón principal por la que las obras existentes son difíciles de adaptar a los escenarios de transmisión es que combinan en gran medida el proceso de generación de incrustaciones con el proceso de predicción, lo que dificulta la generación eficiente de representaciones de incrustaciones en cualquier momento. Por lo tanto, logramos actualizaciones ligeras de representaciones integradas en escenarios de transmisión al desacoplar los dos procesos anteriores.
Específicamente, utilizamos la representación de incrustación de entidades como un módulo de almacenamiento externo para preservar la semántica histórica y desacoplar el proceso de generación de la representación de incrustación en una función de actualización y una función de lectura. En la función de actualización, nuestro marco escucha el conocimiento entrante y actualiza incrementalmente la representación incrustada almacenada en función del conocimiento entrante; en la función de lectura, nuestro marco escucha las necesidades de consulta del usuario y actualiza la representación incrustada almacenada en función del conocimiento entrante. La predicción de trayectoria se utiliza para generar representaciones integradas en el momento de la consulta para responder a los requisitos de la consulta.
Para actualizar con precisión las representaciones de entidades, consideramos tanto el impacto directo del nuevo conocimiento entre las entidades participantes, como el impacto de la propagación del nuevo conocimiento en las entidades involucradas en el conocimiento relacionado en el pasado. Para el impacto directo, inspirado en el mecanismo de transmisión de mensajes, creemos que las entidades que generan conocimiento también difundirán información entre sí. Al mismo tiempo, la semántica de las relaciones refleja la correlación entre entidades, por lo que esperamos utilizar entidades y relaciones para. transmisión de mensajes al mismo tiempo. Para los efectos de propagación, dado que los caminos se usan ampliamente para modelar correlaciones de orden superior entre entidades, creemos que los caminos compuestos por nuevos conocimientos y entidades relacionadas en el pasado pueden reflejar la correlación entre ellos. Por lo tanto, modelamos los efectos de propagación basados en caminos. Finalmente, dado que el mecanismo de activación puede seleccionar de forma adaptativa información para actualizar, lo usamos para seleccionar de forma adaptativa información en influencia directa e influencia de propagación para actualizar la representación integrada de la entidad.
Para simular con precisión la trayectoria de evolución de la semántica de entidades, consideramos dos aspectos. En primer lugar, la semántica de la mayoría de las entidades tiene características cíclicas. Por ejemplo, los Juegos Olímpicos se celebran cada cuatro años y la Copa de Europa se celebra cada dos años. Considerar los cambios semánticos cíclicos de las entidades puede ayudar a predecir mejor el conocimiento que puede ocurrir en el. futuro. En segundo lugar, descubrimos que una entidad solo generará conocimiento con una parte de las entidades de toda la colección de entidades, y estas entidades, naturalmente, tienen fuertes correlaciones. La trayectoria semántica futura de una entidad debe adaptarse a los cambios semánticos de sus entidades relacionadas para mantener esta correlación.
04
Resultados experimentales
Verificamos la efectividad del marco StreamE implementado en base a Shengsi MindSpore en la tarea de predicción inductiva de enlaces futuros en cuatro conjuntos de datos de referencia. Como se muestra en la figura siguiente, nuestro marco funcionó mejor que el estado del arte en todos los conjuntos de datos. Son modelos con mejores prestaciones.
Al mismo tiempo, verificamos las ventajas de nuestro marco propuesto en la eficiencia de la generación de representaciones integradas en comparación con los modelos existentes. Como se muestra en la figura siguiente, nuestro marco puede mantener un crecimiento sublineal en el tiempo de consumo cuando aumenta el número de consultas, lo cual es significativamente más eficiente que los modelos existentes.
05
Resumen y perspectivas
En este artículo, estudiamos por primera vez los desafíos técnicos de los gráficos de conocimiento temporal en escenarios de transmisión y proponemos un marco liviano StreamE para actualizar representaciones integradas en escenarios de transmisión. Implementamos el marco StreamE utilizando el marco Shengsi MindSpore y demostramos sus ventajas en eficiencia y precisión a través de extensos experimentos. Como marco nacional de aprendizaje profundo, MindSpore proporciona una gran cantidad de operadores muy útiles, lo que simplifica enormemente el proceso de implementación del marco. Al mismo tiempo, también muestra grandes ventajas en la eficiencia del razonamiento. La comunidad de Shengsi MindSpore es muy activa y las sugerencias de otros usuarios y desarrolladores de Huawei nos han ayudado enormemente a implementar el marco. Creemos que bajo la guía de una comunidad tan activa y profesional, Shengsi MindSpore será cada vez más perfecto.
Un programador nacido en los años 90 desarrolló un software de portabilidad de vídeo y ganó más de 7 millones en menos de un año. ¡El final fue muy duro! Google confirmó despidos, relacionados con la "maldición de 35 años" de los codificadores chinos en los equipos Python Flutter Arc Browser para Windows 1.0 en 3 meses oficialmente GA La participación de mercado de Windows 10 alcanza el 70%, Windows 11 GitHub continúa disminuyendo. GitHub lanza la herramienta de desarrollo nativo de IA GitHub Copilot Workspace JAVA. es la única consulta de tipo fuerte que puede manejar OLTP + OLAP. Este es el mejor ORM. Nos encontramos demasiado tarde.