Lo que quiero compartir con ustedes hoy es la red neuronal convolucional gráfica. Con el desarrollo de la inteligencia artificial, muchas personas han oído hablar de conceptos como el aprendizaje automático, el aprendizaje profundo y las redes neuronales convolucionales. Pero muchas personas no mencionan la red neuronal convolucional gráfica. Entonces, ¿qué es una red neuronal convolucional gráfica? En pocas palabras, el objeto de su investigación son los datos gráficos (Graph), y el modelo de investigación es una red neuronal convolucional.
¿Por qué hay redes neuronales convolucionales gráficas?
Desde 2012, el aprendizaje profundo ha logrado un gran éxito en la visión artificial y el procesamiento del lenguaje natural. ¿Cómo es mejor que los métodos tradicionales?
Supongamos que hay una imagen para clasificar, los métodos tradicionales necesitan extraer manualmente algunas características, como la textura, el color o algunas características más avanzadas. Luego coloque estas características en un clasificador como un bosque aleatorio, proporcione una etiqueta de salida, dígale qué categoría es. Y el aprendizaje profundo es ingresar una imagen, pasar a través de la red neuronal y generar directamente una etiqueta. La extracción y clasificación de características se llevan a cabo en un solo paso, lo que evita la extracción manual de características o las reglas manuales, y la extracción automática de características a partir de datos sin procesar es una especie de aprendizaje de extremo a extremo (end-to-end). En comparación con los métodos tradicionales, el aprendizaje profundo puede aprender características y patrones más eficientes.
La red neuronal convolucional es muy buena, pero el objeto de su investigación aún se limita a los datos de los dominios euclidianos. ¿Qué son los datos euclidianos? La característica más notable de los datos euclidianos es la estructura espacial regular, como que las imágenes son cuadrículas cuadradas regulares y el habla es una secuencia unidimensional regular. Y estas estructuras de datos se pueden representar mediante matrices unidimensionales y bidimensionales, y las redes neuronales convolucionales son muy eficientes para procesar.
Sin embargo, muchos datos en nuestra vida real no tienen una estructura espacial regular, lo que se denomina datos no euclidianos. Por ejemplo, gráficos extraídos de sistemas de recomendación, transacciones electrónicas, geometría computacional, señales cerebrales y estructuras moleculares. La conexión de cada nodo de estas estructuras gráficas es diferente.Algunos nodos tienen tres conexiones y algunos nodos tienen dos conexiones, lo cual es una estructura de datos irregular.
A continuación se combinan dos escenarios comerciales típicos para ilustrar qué es un gráfico:
Las redes sociales se adaptan bien a los datos gráficos
El gráfico anterior muestra cada nodo en la red social y la relación entre ellos. El usuario A, el usuario B y las publicaciones son todos nodos. La relación entre los usuarios es la siguiente, y la relación entre los usuarios y las publicaciones puede ser publicar o volver a publicar. A través de dicho mapa, es posible analizar quién y qué le interesa al usuario y realizar aún más el mecanismo de recomendación.
Gráficos en escenarios de comercio electrónico
En el comercio electrónico, los nodos clave en los que primero podemos pensar son los usuarios, las transacciones y las mercancías. Por ejemplo, los nodos asociados con los usuarios tendrán direcciones de registro, direcciones de cosecha, etc.; los intercambios estarán asociados con productos, direcciones de entrega, IP de transacciones, etc., y los productos estarán asociados con categorías, etc. La relación entre estos nodos, por ejemplo, los usuarios no solo pueden comprar productos a través de transacciones, sino también calificar productos. Podemos usar dichos datos gráficos para hacer dos cosas, una es recomendación y la otra es antifraude.
A través de los dos ejemplos anteriores, se puede sentir claramente que los gráficos tienen dos características básicas:
Una es que cada nodo tiene su propia información característica. Por ejemplo, para la imagen anterior, establecemos una regla de control de riesgos, que depende de si la dirección de registro del usuario, la dirección IP y la dirección de entrega de la transacción son las mismas. Si la información de estas características no coincide, el sistema determinará que el usuario tiene un cierto grado de riesgo de fraude. Esta es la aplicación de la información de características del nodo gráfico.
La segunda es que cada nodo del gráfico también tiene información estructural. Si hay muchos nodos comerciales conectados a un nodo IP determinado en un período de tiempo determinado, es decir, hay muchos bordes que se extienden desde un nodo IP determinado, entonces el sistema de control de riesgos determinará que esta dirección IP está en riesgo. Esta es la aplicación de información sobre la estructura del nodo gráfico.
En general, en los datos del gráfico, debemos tener en cuenta tanto la información de las características como la información estructural de los nodos. Si confiamos en las reglas manuales para extraer, se perderán muchos patrones ocultos y complejos. ¿Hay alguna forma de extraerlos de forma automática y simultánea? ¿Qué hay de aprender la información de características y la información estructural del gráfico? —— Red neuronal convolucional gráfica
¿Qué es una red neuronal convolucional gráfica?
Graph Convolutional Network (Graph Convolutional Network) es un método que puede realizar un aprendizaje profundo en datos de gráficos.
¿Cómo entender el algoritmo de convolución de grafos? Miramos la animación en tres pasos para entender (tenga en cuenta que los diferentes colores representan diferentes pesos):
Paso 1: Enviar (send) Cada nodo envía su propia información característica a los nodos vecinos después de la transformación. Este paso es extraer y transformar la información de características de los nodos.
Paso 2: Recibir (receive) Cada nodo recopila la información de características de sus nodos vecinos. Este paso es fusionar la información de la estructura local de los nodos.
El tercer paso: Transform (transformar) recopila la información anterior y realiza una transformación no lineal para aumentar la capacidad expresiva del modelo.
Las redes neuronales convolucionales gráficas tienen las siguientes propiedades de las redes neuronales convolucionales:
1. Uso compartido de parámetros locales, el operador es aplicable a cada nodo (el círculo representa al operador), compartido en todas partes.
2. El campo receptivo es proporcional al número de capas, al principio, cada nodo contiene la información de sus vecinos directos, y al calcular la segunda capa, se puede incluir la información de los vecinos de sus vecinos, para que cada vez más la información está involucrada en el cálculo. Cuantas más capas, más amplio es el campo receptivo y más información involucrada en el cálculo.
Veamos el marco del modelo de GCN. La entrada es un gráfico, que se calcula y transforma capa por capa, y finalmente genera un gráfico.
El modelo GCN también tiene tres propiedades de aprendizaje profundo:
1. Estructura jerárquica (las funciones se extraen capa por capa y cada capa es más abstracta y avanzada);
2. Transformación no lineal (aumentar la capacidad expresiva del modelo);
3. Entrenamiento de extremo a extremo (no es necesario definir ninguna regla, simplemente marque los nodos del gráfico, deje que el modelo aprenda por sí mismo e integre información de características e información estructural).
Cuatro características de GCN:
1. GCN es una extensión natural de la red neuronal convolucional en el dominio gráfico.
2. Puede aprender simultáneamente información de características de nodo de extremo a extremo e información estructural, y actualmente es la mejor opción para tareas de aprendizaje de datos gráficos.
3. La convolución de gráficos tiene un amplio rango de aplicabilidad y es adecuada para nodos y gráficos de cualquier topología.
4. En tareas como la clasificación de nodos y la predicción de bordes, el efecto en los conjuntos de datos públicos es muy superior a otros métodos.
Cómo usamos las redes neuronales convolucionales gráficas
Compartamos un experimento que hicimos en un escenario de aplicación práctica:
La entrada experimental es un gráfico de datos compuesto por datos de verificación, y los nodos son eventos de verificación y nodos de atributos relacionados con eventos. Como IP, DeviceID, UA y otros nodos. (Usamos un total de 30 días de datos de verificación, y cada dos horas de datos constituye un gráfico, un total de 360 gráficos).
El resultado del experimento es la clasificación humano-máquina de nodos de eventos, normales o anormales.
Detalles del experimento
Estructura de red: GCN(128)->GCN(64)->GCN(64)->Lineal(2)
Entrenamiento: optimizador Adam, lr=0.001
Punto de referencia de referencia: basado en GBDT, que solo puede aprender información de características, grid_search busca hiperparámetros GBDT es actualmente el clasificador superficial más popular.
Usamos los datos del primer día para entrenar, y los resultados de predicción para 30 días son los siguientes:
La disminución de la tasa de precisión del modelo GCN es relativamente pequeña, mientras que la disminución de GBDT es grave. Se puede ver que el efecto de discriminación hombre-máquina del modelo GCN es mejor y la robustez es buena.
7d Visualice el efecto de evaluación (entrene el modelo con los datos del primer día, observe su efecto de predicción y el resultado de visualización de tsne generado por la última capa en el séptimo día). Como se puede ver en la figura anterior, la interfaz de discriminación de muestras de GCN sigue siendo obvia el séptimo día, pero la interfaz de discriminación de muestras de GBDT ya es muy vaga. En resumen, la información estructural aprendida por GCN no solo es efectiva en la discriminación hombre-máquina, sino que también tiene una mayor robustez.
Organice los materiales de aprendizaje:
Aplicación comercial Graph Neural Network - Coincidencia de paquetes [con PPT y materiales de video], experiencia de búsqueda de WeChat o busque ID de WeChat: geetest_jy, responda "PPT" en segundo plano para obtener
NeurIPS 2019 colección súper completa de documentos GNN, con descarga de PDF original, experiencia extrema de búsqueda de WeChat o búsqueda de ID de WeChat: geetest_jy, responda "NIPS2019" en segundo plano para obtener
William L y Tang Jian AAAI2019 Informe de "Aprendizaje de representación gráfica", experiencia de búsqueda de WeChat o búsqueda de ID de WeChat: geetest_jy, respuesta entre bastidores "AAAI2019" para obtener
Pronóstico de tráfico de bicicletas compartido basado en la red neuronal convolucional gráfica, la experiencia de búsqueda de WeChat o la búsqueda de ID de WeChat: geetest_jy, el fondo responde "Nueva York" y "Chicago" respectivamente para obtener la dirección de descarga del conjunto de datos
escribir al final
Debido al tiempo limitado, se han eliminado muchas preguntas y todavía hay muchas cosas interesantes sobre GCN. Hemos creado una columna "Aprendizaje de gráficos" para compartir con usted un algoritmo de aprendizaje de gráficos más completo.
Durante mucho tiempo, nos hemos considerado una empresa impulsada por la tecnología y también nos hemos denominado una empresa de IA. Las empresas de IA no son tan grandes, de hecho, a veces es difícil, porque muchas tecnologías son inmaduras y no hay ninguna disponible. Al hacer negocios de la empresa, se encontrará con algunas dificultades prácticas y se encontrará con muchos escollos. Por supuesto, también obtendrá algunos conocimientos y experiencia. Creemos que estos son otro tipo de valor creado por las empresas y deben ser bien utilizados.
"Tú tienes una mente, yo tengo una mente, y después del intercambio, ambos tenemos dos mentes" Este es el significado de compartir. Por lo tanto, organizaremos una serie de columnas para compartir productos secos en la etapa posterior, con la esperanza de compartir el conocimiento resumido, aprendido y creado en aplicaciones prácticas con todos. Por supuesto, las personas también son muy bienvenidas para debatir, comunicarse y progresar juntos. Esta es la retroalimentación que más esperamos al hacerlo.
Columna de aprendizaje de gráficos:
Experiencia extrema recomendación del artículo de la cuenta oficial:
Práctica de convolución de grafos - clasificación de texto
Aplicación de la convolución de gráficos al reconocimiento de acciones basado en esqueletos
Práctica del algoritmo de minería grupal basado en gráfico
Reconocimiento de emociones con redes neuronales convolucionales gráficas
Discutir las ideas de escritura de GCN desde la fuente
Varias circunvoluciones definidas en gráficos
Figura resumen de la biblioteca de aprendizaje profundo de código abierto