Comece este ano. Redes Neurais Graficas têm se tornado o foco de discussão entre os pesquisadores e, como pesquisador da área, estou muito satisfeito. Lembro que há cerca de três anos a rede neural de grafos ainda estava congelada.Quando me comuniquei com colegas que estudavam GAN e Transformers, eles pensaram que minha direção de pesquisa era extremamente nicho. Até agora, este campo está finalmente bem guardado. Portanto, apresentarei a você os pontos de acesso recentes dos aplicativos GNNs neste artigo.
Sistema recomendado
Em uma plataforma de e-commerce, a interação entre usuários e produtos constitui uma estrutura de gráfico, portanto, muitas empresas usam redes neurais de gráfico para recomendação de produtos. A abordagem típica é modelar a interação entre usuários e produtos e, em seguida, aprender a incorporação de nós por meio de alguma perda de amostragem negativa e recomendar produtos semelhantes aos usuários em tempo real por meio do kNN. A Uber Eats adota esse método para recomendações de produtos há muito tempo. Especificamente, eles usam a rede neural gráfica GraphSage para recomendar alimentos e restaurantes aos usuários.
Na recomendação de alimentos, devido a restrições geográficas, a estrutura gráfica utilizada é relativamente pequena. Em alguns gráficos de grande escala contendo bilhões de nós, as redes neurais de gráfico também podem ser usadas. É muito difícil usar métodos tradicionais para processar esses gráficos de grande escala. O Alibaba está pesquisando a incorporação de gráficos e GNN em uma rede que contém bilhões de usuários e produtos . Recentemente, eles propuseram o Aligraph , que pode ser construído com 400 milhões de nós em apenas cinco minutos Da figura. Muito poderoso! Além disso, o Aligraph também suporta armazenamento eficiente de gráficos distribuídos, otimiza o processo de amostragem e integra muitos modelos GNN internamente. A estrutura foi usada com sucesso nas recomendações de vários produtos da empresa e nas tarefas de pesquisa personalizadas.
Alibaba , Amazon e muitas outras plataformas de comércio eletrônico usam GNN para construir sistemas de recomendação
O Pinterest propôs o modelo PinSage , que usa o PageRank personalizado para amostrar vizinhanças de maneira eficiente e atualizar as incorporações de nós agregando vizinhanças. O modelo de acompanhamento PinnerSage estende ainda mais a estrutura para lidar com o problema de multi-incorporação de diferentes usuários. Devido ao espaço limitado, este artigo lista apenas algumas das aplicações do GNN em sistemas de recomendação (outros casos incluem: Amazon usa GNN no gráfico de conhecimento ou Fabula AI usa GNN para detectar notícias falsas, etc.), mas estes são o suficiente para mostrar que se o usuário interagir com informações suficientes Rich, então GNNs irão promover significativamente o desenvolvimento do sistema de recomendação.
Otimização de portfólio
Muitos campos como finanças, logística, energia, ciências biológicas e design de hardware estão enfrentando o problema de otimização combinatória (CO). Muitos desses problemas podem ser modelados através de estruturas de grafos, portanto, o trabalho de pesquisa no século passado tem se dedicado a resolver o problema de CO a partir do nível de algoritmo. No entanto, o desenvolvimento do aprendizado de máquina oferece outra possibilidade para resolver o problema de CO.
A equipe do Google Brain usou com sucesso o GNN para design de hardware, como a otimização do consumo de energia, área e desempenho do bloco de chips TPU do Google . Você pode pensar em um chip de computador como um gráfico composto de componentes lógicos e de memória, e cada gráfico é representado pelas coordenadas e tipos de seus componentes. O trabalho de um engenheiro elétrico é determinar a localização de cada componente, obedecendo aos limites de densidade e congestionamento da fiação. A equipe do Google Brain combinou GNN e estratégia / valor RL para alcançar o design e a otimização do layout do chip de circuito, que teve um desempenho melhor do que o layout de hardware artificialmente projetado.
Comparando o layout das fichas com a complexidade do xadrez e Go ( fonte )
Além disso, os modelos de aprendizado de máquina (ML) podem ser integrados aos solucionadores existentes. Gasse e outros propuseram uma rede de grafos para aprender a estratégia de seleção de branch and bound variable (a chave para o solucionador MILP do programa linear inteiro misto), pela qual o tempo de execução do solver pode ser minimizado. Ao mesmo tempo, o artigo mostra que esse método pode não só garantir o tempo de raciocínio, mas também garantir a qualidade da tomada de decisão.
No trabalho mais recente da DeepMind e do Google, Graphnet é usado em duas subtarefas principais do solucionador MILP: atribuição de variável conjunta e delimitação do valor alvo. Nos conjuntos de dados em grande escala do pacote de produção e sistema de planejamento do Google, seu método de rede neural é 2 a 10 vezes mais rápido do que os solucionadores existentes. Para obter mais informações, consulte a análise relevante .
Visão computacional
Como todos os objetos do mundo estão intimamente relacionados, GNN pode ser usado para imagens de objetos. A imagem pode ser percebida através do grafo da cena , ou seja, um grupo de objetos aparece na mesma cena, então existe uma conexão entre eles. Os gráficos de cena têm sido usados em tarefas como inspeção de imagem, compreensão e raciocínio, geração de legenda, pergunta e resposta visual e geração de imagem, melhorando significativamente o desempenho do modelo.
Um estudo do Facebook mostrou que um gráfico de cena foi criado com base na forma, posição e tamanho de objetos no conjunto de dados CV clássico COCO e, em seguida, GNN foi usado para incorporar os objetos no gráfico e, em seguida, combinado com CNN para gerar o máscara, borda e exterior do objeto. Finalmente, GNN / CNN pode gerar imagens de objetos em nós especificados pelo usuário (determinar a posição relativa e o tamanho dos nós).
Use gráficos de cena para gerar imagens. O usuário pode colocar o objeto em qualquer lugar da tela, e a imagem mudará de acordo (por exemplo, se o "rio" vermelho for movido do meio para o canto inferior direito, o rio gerado na imagem também será movido para o canto inferior direito)
Para a tarefa clássica de CV - a correspondência de duas imagens relacionadas, o método anterior só pode ser realizado manualmente. Mas agora, a empresa de gráficos 3D Magic Leap desenvolveu uma arquitetura GNN chamada SuperGlue , que pode realizar correspondência de gráficos em vídeo em tempo real para completar tarefas como reconstrução 3D, reconhecimento de localização, localização e mapeamento (SLAM). SuperGlue consiste em um GNN baseado em atenção. GNN aprende a representação dos pontos-chave da imagem e, em seguida, combina essas representações de pontos-chave na melhor camada de transmissão. O modelo pode ser combinado em tempo real na GPU e pode ser facilmente integrado ao sistema SLAM existente. Para mais pesquisas e aplicações de gráficos e visão computacional, consulte os seguintes artigos de revisão .
Química Física
Construir um gráfico com base na interação entre partículas ou moléculas e, em seguida, usar GNN para prever as propriedades do sistema tornou-se gradualmente um importante método de pesquisa em ciências da vida. O projeto Open Catalyst entre o Facebook e a CMU é dedicado a encontrar novas maneiras de armazenar energia renovável, como a solar ou eólica. Uma das soluções possíveis é converter essa energia em outros combustíveis, como o hidrogênio, por meio de uma reação química. No entanto, isso requer a descoberta de catalisadores novos e mais eficientes para acelerar as reações químicas, e o método DFT conhecido é extremamente caro. O projeto Open Catalyst criou conjuntos de dados de catalisador de código aberto em grande escala, métodos de relaxamento DFT e benchmark GNN, na esperança de encontrar moléculas de catalisador novas, eficientes e de baixo custo.
O estado inicial e o estado relaxado do adsorbato (pequena molécula de ligação) e a superfície do catalisador. Para encontrar o estado relaxado do par adsorbato-catalisador, são necessárias caras simulações DFT, e isso leva vários dias. Zitnick et al. 2020
Os pesquisadores da DeepMind também usam GNN para simular a dinâmica de sistemas de partículas complexos, como água ou areia. Ao predizer gradualmente o movimento relativo de cada partícula, a dinâmica de todo o sistema pode ser reconstruída razoavelmente e as leis básicas de controle do movimento podem ser compreendidas. Isso pode ser usado para entender a transição vítrea , uma das questões sem resposta mais interessantes na teoria do estado sólido. Além disso, o uso do GNN pode não apenas simular a dinâmica da transição, mas também compreender melhor como as partículas interagem umas com as outras com base na distância e no tempo.
Além disso, o Fermilab do Laboratório de Física dos Estados Unidos está empenhado em aplicar GNNs para analisar os resultados do CERN Large Hadron Collider (LHC) , na esperança de processar milhões de imagens, descobrir e selecionar imagens relacionadas a novas partículas. Sua tarefa é implantar o GNN no FPGA e integrá-lo ao coletor de dados , para que o GNN possa ser executado remotamente em escala global. Para obter mais aplicações de GNNs em física de partículas, consulte o seguinte artigo de revisão .
Descoberta de drogas
A indústria farmacêutica é altamente competitiva, com empresas líderes investindo bilhões de dólares a cada ano para desenvolver novos medicamentos. Em biologia, um gráfico pode representar interações em escalas diferentes. Por exemplo, no nível molecular, as bordas do gráfico podem ser as ligações entre os átomos em uma molécula ou as interações entre os resíduos de aminoácidos em uma proteína; em uma escala maior, O diagrama pode representar a interação entre estruturas mais complexas (como proteínas, mRNA ou metabólitos). Gráficos em diferentes níveis de escala podem ser usados para reconhecimento de alvo, predição de propriedade molecular, triagem de alto rendimento, projeto de nova droga, engenharia de proteína e reutilização de drogas, etc.
O fluxo de tempo da aplicação de GNN ao desenvolvimento de medicamentos, Gaudelet et al., 2020
Pesquisadores do MIT e seus colaboradores publicaram um artigo na Cell (2020) que GNN ajuda no desenvolvimento de medicamentos. Eles treinaram um modelo GNN profundo chamado Chemprop para prever se a molécula tem propriedades antibióticas, ou seja, seu efeito inibidor de crescimento em E. coli. Depois de treiná-lo com cerca de 2.500 moléculas na biblioteca de drogas aprovada pela FDA, o Chemprop foi aplicado a um conjunto de dados maior, o Drug Repurposing Hub contendo moléculas de halicina , e baseado no filme "2001: A Space Odyssey" Renomeie-o em HAL9000 .
Deve-se notar que a estrutura molecular da Halicina é muito diferente da dos antibióticos conhecidos, portanto, trabalhos anteriores estudaram apenas essa molécula. No entanto, os ensaios clínicos in vivo e in vitro demonstraram que o Halicin é um antibiótico de amplo espectro. Comparado com os extensos testes de benchmark conduzidos pelo modelo NN, a aplicação do GNN descobriu que Halicin demonstrou mais os poderosos recursos de aprendizagem e caracterização do GNN. Além disso, a arquitetura Chemprop também merece atenção: Ao contrário da maioria dos modelos GNN, Chemprop tem 5 camadas e 1600 dimensões de camadas ocultas, excedendo em muito outros parâmetros GNN.