Autor: Li Ruifeng
Título do artigo
StreamE: atualizações leves de representações para gráficos de conhecimento temporal em cenários de streaming
Fonte de papel
VACA 2023
Link de papel
https://dl.acm.org/doi/10.1145/3539618.3591772
link de código
https://github.com/zjs123/StreamE_MindSpore
Como uma estrutura de IA de código aberto, MindSpore traz colaboração entre dispositivos e nuvem de cenário completo entre indústria, universidade, pesquisa e desenvolvedores, desenvolvimento minimalista, desempenho máximo, pré-treinamento de IA em escala ultralarga, desenvolvimento minimalista e um ambiente seguro e confiável. experiência, 2020.3.28 O código aberto tem mais de 5 milhões de downloads. O MindSpore apoiou centenas de artigos de conferências importantes sobre IA, foi ensinado nas mais de 100 universidades e está disponível comercialmente em mais de 5.000 aplicativos por meio do HMS. e está no campo da computação de IA, finanças, manufatura inteligente, finanças, nuvem, wireless, comunicações de dados, energia, consumidor 1+8+N, carros inteligentes e outros cenários de carros em nuvem de ponta são gradualmente amplamente utilizados. é o software de código aberto com o maior índice Gitee. Todos são bem-vindos para participar de contribuições de código aberto, kits, modelo de inteligência coletiva, inovação e aplicações da indústria, inovação de algoritmos, cooperação acadêmica, cooperação de livros de IA, etc., e contribuir com seus casos de aplicação no lado da nuvem, no lado do dispositivo, no lado da borda e campos de segurança.
Com o amplo apoio do SunSilicon MindSpore da comunidade científica e tecnológica, da academia e da indústria, os artigos de IA baseados no SunSilicon MindSpore representaram 7% de todas as estruturas de IA em 2023, ocupando o segundo lugar no mundo por dois anos consecutivos. Obrigado ao CAAI e. todas as universidades Com o apoio dos professores, continuaremos a trabalhar arduamente juntos para fazer pesquisa e inovação em IA. A comunidade MindSpore apoia as principais pesquisas de artigos de conferências e continua a construir resultados originais de IA. Ocasionalmente, selecionarei alguns artigos excelentes para promover e interpretar. Espero que mais especialistas da indústria, da academia e da pesquisa cooperem com a Shengsi MindSpore para promover pesquisas originais em IA. é de Shengsi. Para o 15º artigo da principal série de artigos de conferências da MindSpore AI, gostaria de interpretar um artigo da equipe do professor Shao Jie da Escola de Ciência da Computação da Universidade de Ciência e Tecnologia Eletrônica da China. agradecer a todos os especialistas, professores e colegas por suas contribuições. Este artigo foi enviado para Zhihu, clique para ler o texto original para visualizar.
MindSpore visa atingir três objetivos principais: fácil desenvolvimento, execução eficiente e cobertura completa de cenários. Através da experiência de uso, MindSpore, uma estrutura de aprendizagem profunda, está se desenvolvendo rapidamente, e o design de suas diversas APIs está sendo constantemente otimizado em uma direção mais razoável, completa e poderosa. Além disso, várias ferramentas de desenvolvimento que surgem constantemente de Shengsi também estão ajudando este ecossistema a criar métodos de desenvolvimento mais convenientes e poderosos, como o MindSpore Insight, que pode apresentar a arquitetura do modelo na forma de um diagrama e também monitorar dinamicamente vários aspectos do modelo durante o tempo de execução. Mudanças nos indicadores e parâmetros tornam o processo de desenvolvimento mais conveniente.
01
Antecedentes da Pesquisa
O método de incorporação do gráfico de conhecimento temporal visa aprender a representação vetorial dos elementos no gráfico de conhecimento temporal com base na retenção da temporalidade do gráfico de conhecimento temporal. Embora os trabalhos existentes possam representar gráficos de conhecimento temporal como vetores de baixa dimensão, esses trabalhos assumem que nenhum novo conhecimento será adicionado aos gráficos de conhecimento temporal, o que é obviamente irracional. O conhecimento no mundo real é constantemente atualizado, portanto, novos conhecimentos serão continuamente adicionados ao gráfico de conhecimento. Este cenário é denominado cenário de fluxo. O trabalho existente enfrenta principalmente os três problemas a seguir quando aplicado a cenários de streaming:
(1) Primeiro, novas entidades continuarão a acumular-se no gráfico de conhecimento à medida que o trabalho existente aprende diretamente a representação de incorporação fixa de cada entidade, de modo que não podem gerar representações de incorporação para novas entidades.
(2) Vários eventos no mundo real ocorrem o tempo todo, o que resulta em atualizações de conhecimento muito frequentes. O trabalho existente exige a regeneração da representação incorporada do momento atual do zero a cada momento, o que torna difícil aplicá-los no mundo real. -áreas da vida que exigem uma resposta rápida, como os sistemas de alerta precoce de crises.
(3) O trabalho existente só pode obter representações de incorporação de entidades com carimbos de data/hora de conhecimento relevantes. No entanto, os requisitos no mundo real são gerados a qualquer momento, e o trabalho existente sempre retornará a mesma representação de incorporação até que ocorra a próxima atualização de conhecimento, fazendo com que o modelo dê a mesma resposta durante este período, o que obviamente não é razoável.
Portanto, embora os trabalhos existentes tenham alcançado algum sucesso, nenhum deles pode ser aplicado a cenários de streaming, que são muito comuns no mundo real (como sistemas de recomendação, sistemas de alerta de crises, etc.).
02
introdução da equipe
O primeiro autor do artigo, Zhang Jiasheng, é estudante de doutorado do segundo ano na Escola de Ciência da Computação da Universidade de Ciência e Tecnologia Eletrônica da China. Seus interesses de pesquisa incluem aprendizagem de representação gráfica dinâmica, gráficos de conhecimento sequenciais e mineração de dados espaço-temporais. . Até agora, um total de 5 artigos foram publicados, incluindo 2 artigos de conferências CCF Categoria A, 1 artigo de conferência CCF Categoria B e C e 1 artigo de periódico na primeira região da Academia Chinesa de Ciências. patentes de invenção nacionais e 2 direitos autorais de software. Ele presidiu a conclusão do projeto-chave do Projeto de Mudas de Inovação e Empreendedorismo do Departamento Provincial de Ciência e Tecnologia de Sichuan, "Pesquisa e Aplicação do Modelo de Aprendizagem de Representação de Gráfico de Conhecimento Guiado por Conhecimento Sequencial", e foi selecionado para o DiDi-Future Projeto Conjunto de Treinamento de Talentos Elite Escola-Empresa. Ele ganhou diversas bolsas acadêmicas da Universidade de Ciência e Tecnologia Eletrônica da China e os títulos de "Excelente Aluno de Pós-Graduação" e "Indivíduo Avançado em Inovação Científica e Tecnológica".
O orientador de tese Shao Jie é professor e supervisor de doutorado na Universidade de Ciência e Tecnologia Eletrônica da China. Ele publicou mais de 100 artigos acadêmicos de alto nível (incluindo IEEE TKDE, IEEE TNNLS, IEEE TCYB, IEEE TMM, IEEE TGRS, IEEE). THMS, IEEE TCSVT, ACM TOIS e ACM Journals como TOMM e conferências como ACM MM, IEEE ICDE, VLDB, IJCAI e AAAI). Ele presidiu 2 projetos gerais da Fundação Nacional de Ciências Naturais da China e 1 projeto-chave de P&D da província de Sichuan. Como responsável pela unidade cooperativa, ele realizou 1 projeto-chave da Fundação Nacional de Ciências Naturais da China. -WAIM 2019, a Conferência Internacional sobre Big Data Field recomendada pelo Presidente do Comitê do Programa da Sociedade de Computação da China. Ganhou o segundo prêmio do Prêmio Provincial de Progresso em Ciência e Tecnologia de Sichuan de 2021.
O Future Media Research Center da Universidade de Ciência Eletrônica e Tecnologia da China, onde o autor do artigo está localizado, realizou algumas pesquisas na direção de gráficos de conhecimento multimodais, gráficos de conhecimento temporal e construção de gráficos de conhecimento, raciocínio e aplicativo. Há uma série de projectos provinciais, ministeriais e nacionais relevantes em investigação.
03
Introdução ao artigo
Este artigo propõe uma estrutura de representação de incorporação leve (StreamE) para resolver o problema de que métodos anteriores de incorporação de gráficos de conhecimento temporal não podem ser aplicados a cenários de streaming. Acreditamos que a principal razão pela qual os trabalhos existentes são difíceis de adaptar aos cenários de streaming é que eles acoplam fortemente o processo de geração de incorporação ao processo de predição, o que torna difícil gerar representações de incorporação de forma eficiente a qualquer momento. Portanto, conseguimos atualizações leves de representações incorporadas em cenários de streaming, desacoplando os dois processos acima.
Especificamente, usamos a representação de incorporação de entidade como um módulo de armazenamento externo para preservar a semântica histórica e dissociar o processo de geração da representação de incorporação em uma função de atualização e uma função de leitura. Na função de atualização, nossa estrutura escuta o conhecimento recebido e atualiza gradativamente a representação de incorporação armazenada com base no conhecimento recebido; na função de leitura, nossa estrutura escuta as necessidades de consulta do usuário e atualiza a representação de incorporação armazenada com base no conhecimento recebido; A previsão de trajetória é usada para gerar representações incorporadas no momento da consulta para responder aos requisitos da consulta.
Para atualizar com precisão as representações das entidades, consideramos tanto o impacto direto entre as entidades participantes do novo conhecimento, bem como o impacto da propagação do novo conhecimento nas entidades envolvidas no conhecimento passado relacionado. Para impacto direto, inspirados no mecanismo de passagem de mensagens, acreditamos que as entidades que geram conhecimento também espalharão informações entre si. Ao mesmo tempo, a semântica dos relacionamentos reflete a correlação entre as entidades, por isso esperamos utilizar entidades e relacionamentos para. mecanismos de passagem de mensagens ao mesmo tempo para modelar efeitos diretos. Para efeitos de propagação, uma vez que os caminhos são amplamente utilizados para modelar correlações de ordem superior entre entidades, acreditamos que caminhos compostos por novos conhecimentos e entidades relacionadas ao passado podem refletir a correlação entre eles. Portanto, modelamos efeitos de propagação com base em caminhos. Finalmente, uma vez que o mecanismo de gate pode selecionar adaptativamente informações para atualização, nós o usamos para selecionar adaptativamente informações em influência direta e influência de propagação para atualizar a representação incorporada da entidade.
Para simular com precisão a trajetória de evolução da semântica das entidades, consideramos dois aspectos. Em primeiro lugar, a semântica da maioria das entidades tem características cíclicas. Por exemplo, os Jogos Olímpicos são realizados a cada quatro anos e a Taça da Europa é realizada a cada dois anos. Considerar as mudanças semânticas cíclicas das entidades pode ajudar a prever melhor o conhecimento que pode ocorrer no. futuro. Em segundo lugar, descobrimos que uma entidade só irá gerar conhecimento com uma parte das entidades de toda a coleção de entidades, e estas entidades têm naturalmente correlações fortes. A trajetória semântica futura de uma entidade deve adaptar-se às mudanças semânticas das suas entidades relacionadas para manter esta correlação.
04
Resultados experimentais
Verificamos a eficácia da estrutura StreamE implementada com base no Shengsi MindSpore na tarefa indutiva de previsão de links futuros em quatro conjuntos de dados de benchmark. Como mostrado na figura abaixo, nossa estrutura teve um desempenho melhor do que o estado da arte em todos os conjuntos de dados. são modelos com melhor desempenho.
Ao mesmo tempo, verificamos as vantagens do nosso framework proposto na eficiência da geração de representação incorporada em comparação com os modelos existentes. Conforme mostrado na figura abaixo, nossa estrutura pode manter um crescimento sublinear no tempo de consumo quando o número de consultas aumenta, o que é significativamente mais eficiente do que os modelos existentes.
05
Resumo e Perspectiva
Neste artigo, estudamos pela primeira vez os desafios técnicos dos gráficos de conhecimento temporal em cenários de streaming e propomos uma estrutura leve StreamE para atualizar representações de incorporação em cenários de streaming. Implementamos a estrutura StreamE usando a estrutura Shengsi MindSpore e provamos suas vantagens em eficiência e precisão por meio de extensos experimentos. Como uma estrutura doméstica de aprendizagem profunda, o MindSpore oferece um grande número de operadores muito úteis, o que simplifica muito o processo de implementação da estrutura. Ao mesmo tempo, também apresenta grandes vantagens na eficiência do raciocínio. A comunidade Shengsi MindSpore é muito ativa e as sugestões de outros usuários e desenvolvedores da Huawei nos ajudaram muito a implementar a estrutura. Acreditamos que, sob a orientação de uma comunidade tão ativa e profissional, o Shengsi MindSpore se tornará cada vez mais perfeito.
Um programador nascido na década de 1990 desenvolveu um software de portabilidade de vídeo e faturou mais de 7 milhões em menos de um ano. O final foi muito punitivo! Google confirmou demissões, envolvendo a "maldição de 35 anos" dos programadores chineses nas equipes Flutter, Dart e . Python Arc Browser para Windows 1.0 em 3 meses oficialmente GA A participação de mercado do Windows 10 atinge 70%, Windows 11 GitHub continua a diminuir a ferramenta de desenvolvimento nativa de IA GitHub Copilot Workspace JAVA. é a única consulta de tipo forte que pode lidar com OLTP + OLAP. Este é o melhor ORM. Nos encontramos tarde demais.