Aquí está la máquina Wang Zhe notas de aprendizaje , cada una o dos semanas voy a estar ingeniero algoritmo de cálculo del ángulo de explicar algo de la publicidad, artículos relacionados con los sistemas de recomendación. Seleccione el artículo sobre las tres condiciones deben cumplirse:
- En primer lugar, orientada al proyecto;
- En segundo lugar, Ali, Facebook, Google y otras empresas de primer nivel de Internet producida;
- En tercer lugar, clásico o de vanguardia.
Esta semana discutimos juntos profundidad Youtube sistema de recomendación tesis " profundas redes neuronales para las Recomendaciones de YouTube ", que es el documento de 2016, para los estándares de hoy en día, no hay nada nuevo lugar, también leí esto hace dos años, después de que el artículo se pone abajo, pero hace unos días volvió a leer este artículo, ha permitido a muchos puntos culminantes encuentran en casi todas partes es la rutina, la experiencia en todas partes, no tienen miedo al texto Dios. Dios me dio este trabajo la impresión de que hay dos puntos:
- Este es sin duda un modelo de industria del papel de la comunidad , es mis ingenieros algoritmo de ingeniería orientada muy respetados deben leer artículos;
- Creo que humilde lugar, también se oculta en los ingenieros de Youtube valiosa experiencia en ingeniería, en comparación con la introducción de la semana pasada de la profundidad de interés en la red DIN Ali , el valor más importante es que el mecanismo de Atención, este artículo debe tener una precisión de frase que apreciar esta es la razón por la que tengo miedo a Dios de texto.
Preámbulos, aquí me gustaría compartir diferentes experiencias y cosechar dos veces ha leído este papel.
El primer paso de leer el periódico, creo que todo el mundo está dirigido a los algoritmos de arquitectura a ir a fondo los sistemas de recomendación de aprendizaje se han convertido en una importante compañía, "Operaciones básicas" Hoy en día, Youtube algorítmicamente arquitectura no sorprende al, tomemos un tiempo rápido de la arquitectura del artículo sistemas de recomendación de aprendizaje profundo algoritmo mirada.
Youtube escena de la recomendación del usuario Ni que decir tiene, sitio de videos más grande del mundo UGC, la necesidad de una recomendación personalizada en un video mega-escala. A medida que la colección de vídeo candidato es demasiado grande, tenga en cuenta los retrasos del sistema en línea, no recomendar el uso directo de las redes complejas, por lo que tomó dos de profundidad Youtube Web para completar el proceso recomendado:
- La primera capa es un candidato Modelo Generación video completo de la selección rápida de candidatos, colección de videos candidato esta etapa redujo de un millón a la orden de cientos.
- La segunda capa es de clasificación Modelo completó cientos de vídeo candidato de descarga fina
Presentado por primera vez el candidato modelo de arquitectura de generación
Generación del modelo de youtube Candidato
Nuestro punto de vista de la red de abajo hacia arriba, el nivel más bajo de la entrada que un vídeo de vectores visto usuario incrustación, y la incrustación término de búsqueda vectorial. En cuanto a cómo se genera la incorporación de este vector, el autor de la original, es
Inspirado por la bolsa continua de modelos de palabras de la lengua, aprendemos incrustaciones de alta dimensión para cada vídeo en un vocabulario fijo y alimentar estas inclusiones en una red neuronal feedforward
Después de los autores es usar el método word2vec para el vídeo y hacer una búsqueda de token de re-incorporación como una entrada, que se realiza la incorporación de la "Operaciones básicas", sin mucha introducción, por supuesto, además de la otra debemos estar más familiarizados con es mediante la adición de una capa de incrustación de formación DNN junto con los dos métodos anteriores es mejor, lo que es adecuado para la ocasión, podemos hablar.
vector de características que también incluye la ubicación geográfica de la incrustación, la edad del usuario y el género. A continuación, concatenar todas estas características juntas, la alimentación de la red neuronal superior RELU.
Después de la red neuronal de tres capas, vemos función softmax. Aquí los estudiantes de Youtube a examinar esta cuestión como un reloj al lado recomendación del usuario problema, por lo que la salida debe ser con toda probabilidad, una distribución de vídeo candidato, la naturaleza es más de una clasificación.
Pues bien, el "Operaciones básicas", que dejó el aprendizaje profundo, constituyen Youtube de la red de generación de candidatos, inocuo, pero todavía se oculta algunos problemas, tales como
- Método gráfico de la esquina superior izquierda, por qué no usar esta red directamente para predecir el tiempo en línea que sirve y para usar la búsqueda del vecino más cercano?
- problemas múltiples de clasificación, vídeo de Youtube candidato de un millón es enorme, lo que significa que hay millones de clasificación, lo que afectará inevitablemente el efecto del entrenamiento y la velocidad, la forma de mejorar?
Estos problemas de lectura de la primera pasada, cuando no creo profunda oscuridad para ver, pero está obligado a problemas de encontrar en la aplicación de ingeniería, que siguió a la presentación en profundidad de la solución de papeles.
Desde cientos de conjuntos candidatos obtenidos, el siguiente paso es usar bien la clasificación modelos de clasificación, el siguiente es un diagrama esquemático de la clasificación de profundidad red de aprendizaje.
Youtube Modelo de clasificación
A primera vista lo anterior clasificación de modelo parece no ser diferente modelo de generación de candidatos, el modelo de arquitectura y la profundidad del aprendizaje "Operaciones básicas", la única diferencia es el funcionamiento de la característica, entonces hablamos de las características del proyecto.
Descripción De hecho también ilustra claramente que la introducción de otro conjunto de características que el objeto de DNN es introducir modelo más clasificación descrito, vídeo y relación de usuario entre ellos, un conjunto de vídeo candidato lograr el propósito de clasificación precisa.
Durante la clasificación, tenemos acceso a muchas más características que describen el vídeo y la relación del usuario con el video porque sólo unos pocos cientos de vídeos están siendo marcados en lugar de los millones anotados en la generación de candidatos.
punto específico, en orden de izquierda a derecha se caracteriza
- ID de vídeo incrustación de impresión : Video de la corriente a la incrustación puede calcular
- ID de video media incrustar Vistas : usuario ha visto el último video N incrustación de la puesta en común promedio
- incrustación Idioma : la incorporación de la lengua del usuario y el idioma de la incrustación de vídeo actual
- Operando desde la última vez reloj : desde la última vez que el mismo canal para ver el video
- Impresiones #previous : El número de veces que el vídeo ha sido expuesto al usuario
Cinco características anteriormente, me gustaría centrarse en la cuarta y quinta. Desde la introducción de estos dos buena observación del comportamiento de los usuarios.
Pensamientos de cuatro características detrás
Observamos que las señales más importantes son las que describen la interacción de un usuario anterior con el objeto mismo y otros artículos similares.
Algunos medios de introducción de la atención, aquí es el tiempo desde el último reloj intervalo caracterizado porque la reacción de usuario para ver el mismo video. Pensar desde la perspectiva del usuario, aunque sólo habíamos visto "DOTA opinión clásico," video del canal, vamos a seguir viendo una alta probabilidad de que este canal de vídeo, a continuación, esta característica capturará este buen comportamiento de los usuarios .
Los primeros cinco características impresiones #previous de la introducción de la exploración de ideas, en cierta medida, para evitar el mismo video continuó la exposición a un mismo usuario no es válido. Trate de aumentar la probabilidad de exposición de usuario nuevo video nunca visto.
En este punto, mi primer pase leer el periódico más, el algoritmo marco de Youtube con el concepto, pero la sensación general mucho mejor que esto, no hay mucho nuevo lugar. .
Pero si realmente piensa, o demasiado ingenuo, y con el anterior profundidad de interés en la red de la norma DIN Ali diferente es que lea mecanismo DIN de atención, que se captura el 70% del valor de su papel, pero este artículo , si sólo se lee la arquitectura del sistema recomendados Youtube, que acaba de agarrar el 30% del valor . Entonces, ¿dónde está el 70% restante del valor en ella?
Cuando vuelva a leer este artículo, estoy desde la perspectiva de un ingeniero, siempre Bengzhuo "cómo" esta cadena se encontró antes de que el proyecto vale ni el papel que ignorado en gran medida. A continuación he enumerado diez papel muy valiosa abordó la cuestión:
- Transformado de papel problema recomendación en un problema multi-clasificación en el reloj de la escena, cada candidato será un video clasificado, por lo que un total de millones de clasificación de gigante, que cuando se utiliza la formación softmax es, sin duda, ineficiente, pregunta Youtube es la forma de resolver?
- En el curso de servir el modelo de generación de candidatos, Youtube ¿Por qué no adoptar un modelo de formación de predecir cuando, en lugar de utilizar un método de búsqueda del vecino más cercano?
- Los usuarios de YouTube tienen una preferencia por un nuevo video, a continuación, cómo introducir esta característica en el proceso de construcción de modelos?
- En el proceso de pre-tratamiento del conjunto de entrenamiento, Youtube no utilizó el registro de usuario original, pero el número de usuarios para cada entrenamiento extracción de la muestra, que es la razón?
- Youtube ¿Por qué no tomar un RNN similar de modelo de secuencia, pero abandonó por completo las características de tiempo de la historia de visión del usuario, el historial de navegación reciente equipara esto sin pérdida de información útil que?
- Al tratar con el equipo de prueba, Youtube ¿Por qué no dejar un método aleatorio clásica (reserva al azar), pero el usuario debe tener un comportamiento reciente de visualización como un conjunto de pruebas?
- Para determinar el momento óptimo de destino, Youtube ¿Por qué no usar el clásico CTR, o tasa de reproducción (Play Rate), en lugar de utilizar cada vez que la reproducción se esperaba (se espera tiempo de reloj por impresión) la exposición como el objetivo de la optimización?
- Al realizar la incrustación de vídeo, ¿por qué la larga cola de vídeo directamente a un gran número de vectores en lugar de directamente con el 0?
- Después de ciertas características, tales como impresiones #previous, ¿por qué la prescripción y el trato justo, como la característica de tres modelo de entrada?
- ¿Por qué la clasificación modelo no utiliza el clásico de regresión logística como la capa de salida, en lugar de utilizar una regresión logística ponderada?
Porque también el trabajo en el campo de la recomendación de vídeo, por lo que se puede decir de manera responsable de más de diez preguntas son muy valiosos. Pero hoy te escribo en un solo aliento, sintiendo un poco de falta de capacidad de aire. . Si está interesado, entonces se puede apuntar un elogio, analizaré más de diez respuestas sobre el tema en detalle mañana.
Las respuestas a las preguntas anteriores se ha completado, se refieren a mi próximo artículo -
Bueno, aquí está la máquina Wang Zhe notas aprender el segundo artículo, el nivel limitado, damos la bienvenida a Tucao, la crítica, la corrección.
También bienvenidos atención a mi tocayo de micro-canales Público número Wang Zhe máquina de aprendizaje notas ( wangzhenotes ), o para continuar el debate por el número intercambio público más mis personales micro-letras, gracias.
referencias:
