Autor: Academic Jun
Ayer, además de los premios "Double Eleven" y AAAI Open (Release) Awards (lista), Stanford Daniel Jure Leskovec acaba de visitar Tsinghua, y el círculo académico de amigos estaba lleno de alegría ...
Qué caliente está Jure Leskovec, echemos un vistazo a la escena ...
¿Qué tan bueno es Jure Leskovec?
Jure Leskovec, una gran vaca en el campo de las redes de gráficos, es profesor asociado en la Escuela de Ciencias de la Computación de la Universidad de Stanford y uno de los autores de los métodos de aprendizaje de representación de gráficos node2vec y GraphSAGE.
En Google Scholar, Jure tiene cerca de 45.000 citas en papel y un índice H de 84. ¿Qué significa esto?
En los Estados Unidos, las universidades de investigación necesitan obtener puestos docentes permanentes como profesores asociados. El índice H es generalmente de 10 a 12, y la promoción a profesor titular es de aproximadamente 18. Convertirse en miembro de la Academia Nacional de Ciencias es generalmente superior a 45, con una mediana de 57. El índice H de Jure 84 también significa que tiene una posición fundamental en el campo de la investigación de la inteligencia artificial.
En los últimos años, el entusiasmo por la investigación de Graph Neural Networks (GNN) en el campo del aprendizaje profundo ha ido en aumento, y las redes de gráficos se han convertido en el punto de acceso de investigación de las principales conferencias de aprendizaje profundo en 2019. La extraordinaria capacidad de GNN para tratar con datos no estructurados ha logrado nuevos avances en el análisis de datos de red, sistemas de recomendación, modelado físico, procesamiento de lenguaje natural y problemas de optimización combinatoria en gráficos. Sin embargo, la mayor parte del establecimiento de marcos de redes de gráficos se basa en el conocimiento previo o esclarecedor de los investigadores y carece de un apoyo teórico claro.
En ICLR2019, una obra maestra del equipo de Jure Leskovec, ¿qué tan poderosas son las redes neuronales gráficas (Cuán poderosas son las redes neuronales gráficas)? Se propone un marco teórico basado en pruebas de isomorfismo de grafos WL, y se ofrece un análisis teórico maravilloso para muchos marcos GNN, y se propone un marco de red de grafos simple pero poderoso GIN (Graph Isomorphism Networks), que verifica la clasificación de GIN en gráficos. Excelente desempeño en la tarea. Este artículo cree que las redes neuronales gráficas tienen un gran potencial en el razonamiento causal y se espera que se conviertan en el próximo punto de inflexión de la IA.
¿Qué está investigando Jure?
Jure mencionó en su discurso que el aprendizaje automático en gráficos es una tarea importante y común, y sus aplicaciones van desde el diseño de fármacos hasta recomendaciones amigables en redes sociales. El principal desafío en este campo es encontrar una forma de representar o codificar estructuras gráficas para que los modelos de aprendizaje automático puedan usarlo fácilmente.
Presentó los últimos avances en la investigación de redes neuronales de grafos, que utilizan técnicas basadas en el aprendizaje profundo para aprender automáticamente a codificar estructuras de grafos en incrustaciones de baja dimensión. También presentó los avances clave en el aprendizaje de la representación de gráficos, incluidas las redes convolucionales de gráficos y sus capacidades de representación, y discutió sus aplicaciones en sistemas de recomendación a nivel web, atención médica, representación del conocimiento y razonamiento.
El siguiente es un extracto de la presentación.
La caja de herramientas de aprendizaje profundo está diseñada para secuencias y cuadrículas simples, pero no todo se puede representar como una secuencia o una cuadrícula.
¿Cómo podemos desarrollar una red neuronal más utilizada? Es posible aprender nuevos campos más allá de la clásica red neuronal de imágenes y secuencias.
¿Por qué es tan difícil?
¡Porque la red es complicada!
▪ Tamaño arbitrario y estructura topológica compleja (es decir, no existe una localidad espacial como una cuadrícula);
▪ Sin secuencia de nodo fijo o punto de referencia;
▪ Generalmente dinámico, con características multimodales;
Graficar red neuronal
¿Qué tan expresivos son los GNN?
Marco teórico: descripción del poder discriminativo de las GNN
▪ Describir el límite superior de la capacidad discriminativa de las GNN;
▪ Proponer GNN superpoderosos;
▪ Describir el poder discriminativo de las GNN;
Punto clave: subárbol raíz
El poderoso GNN puede distinguir subárboles de raíces de diferentes estructuras.
Idea: si la función GNN es inyectiva, GNN puede capturar / distinguir la estructura del subárbol raíz;
Teorema: El GNN más discriminativo utiliza la función inyectiva de conjuntos múltiples para la agregación adyacente;
Si la función agregada es inyectiva, GNN puede capturar / discriminar completamente la estructura del subárbol raíz.
La importancia de los GNN
1. Los GNN pueden hacer dos cosas:
▪Aprenda a "tomar prestada" información de características de los nodos cercanos para enriquecer el nodo de destino;
▪ Cada nodo puede tener un gráfico de cálculo diferente y la red también puede capturar / aprender su estructura;
2. Cuadro de cálculo opcional:
▪ No es necesario que ocurra la agregación entre todos los puntos vecinos;
▪ Puede seleccionar / muestrear puntos vecinos;
▪ Obtenga grandes resultados en la práctica;
3. Entendemos los casos de falla de los GNN:
▪ Los GNN no pueden distinguir nodos homogéneos;
▪ Percepción de la estructura Vs percepción de la ubicación.
Eso es todo para una breve introducción ¿Quieres todo PPT? Luego vaya al backstage de la cuenta oficial de WeChat de "Academic Headlines" y responda "Jure" para recibirlo. El editor es tan cariñoso, ¿no planeas dar un visto bueno?
Todo el mundo está mirando:
ICCV2019 | Megvii propone ThunderNet, una red de detección de objetivos liviana
ICCV2019 | SinGAN: aprenda a generar un modelo a partir de una sola imagen, que se puede aplicar a una variedad de operaciones de procesamiento de imágenes