sistemas de aprendizaje / MACHINE / recomendación algoritmo de sistema de guía de la entrevista ingeniero

guía de entrevista

• 1, los sistemas de la máquina de aprendizaje / recomendación / habilidades sistema de recomendación ingeniero algoritmo de entrevista mapa
• 2, el conocimiento, las herramientas, la lógica, se enfrentan con cuestiones de negocios
• 3, de reanudar la escritura y las necesidades de contratación
• 4, libros recomendados sitio Web

1, los sistemas de la máquina de aprendizaje / recomendación / habilidades sistema de recomendación ingeniero algoritmo de entrevista mapa

Sin embargo, los requisitos de trabajo a un lado específicos, vistazo a este tema desde la perspectiva de un ángulo ligeramente superior, un algoritmo de sistema de la máquina de aprendizaje / recomendación, la calidad técnica de los ingenieros de I + D se pueden básicamente dividirse en los siguientes cuatro áreas: conocimiento, herramientas, lógicas, de negocios.

Sobre la base de los requisitos mínimos, ingeniero de requisitos de capacidad del algoritmo es relativamente amplia. El llamado algoritmo de ingenieros, ya que no sólo debe ser un "ingeniero" calificado también debe mejorado una vez más y la capacidad de alcanzar la base del algoritmo. Además, los grandes ingenieros de datos presta más atención a mejorar las grandes herramientas de datos y plataformas, los investigadores en el ámbito del conocimiento y la lógica importancia relativa.

Estos son los requisitos pertinentes, los requisitos generales, si es que no quieren abandonar el campo. A continuación, un exhaustivas recomendaciones de trabajo en áreas específicas como ingeniero de sistemas, debe tener algunas competencias específicas:

Conocimiento : se refiere principalmente a su conocimiento y las reservas de la teoría ML (40%)

• aprendizaje profundidad base de conocimientos de aprendizaje automático del conocimiento relevante +
• CTR como el modelo convencional, los principios y los detalles técnicos del modelo algoritmo de recomendación

Herramientas : ML conocimiento de las herramientas de marco de negocios reales (30%)

• Tales como la capacidad de codificación, chispa, tensorflow, las herramientas que sirven

Lógica : el algoritmo de base relacionados lógicamente (10%)

• problemas aritméticos básicos comunes, las relaciones evolutivas entre la pregunta lógica, modelo, considere dar prioridad a la capacidad

Negocio : la comprensión en profundidad del modelo de negocio de la industria, y la capacidad de encontrar fuera de las Mejoras en el algoritmo de modelo de negocio (20%)

• De acuerdo con el artículo, tales como la construcción de un modelo recomendado escenarios y requerimientos, la comprensión de las tendencias de negocios, de acuerdo con el modelo de negocio de destino

2.1 recomendación algoritmo de sistema relacionado con la pluma-preguntas de la entrevista

11. Si se utiliza uno de los otros modelos de reemplazar o mejorar XGBoost XGBoost ¿cómo lo haría y por qué? (Lógica de negocio + + conocimiento)

1, (basado en el usuario sobre la base de los elementos y) principio, ItemCF, UserCF, debe explicarse filtrado colaborativo SVD descomposición de la matriz?

2, los siguientes métodos recomendados, resultado recomendación es mejor la diversidad :( B)

recomendación basada en contenido A.

recomendación de filtrado colaborativo basado en el usuario B.

C. recomendación filtrado colaborativo basado en el artículo

Las mejores ofertas en D.

3, describir los principios utilizados al menos dos algoritmos de sistema de recomendación familiarizado (tales como: el filtrado, la descomposición de la matriz, etc.)

4, el sistema de colaboración recomendación de filtrado se utiliza a menudo, que comprende un filtrado colaborativo basado en memoria, el modelo de filtrado colaborativo y un modelo híbrido. La siguiente afirmación no es correcta (C)

• Filtrado de recomendación basada en la recomendación de filtrado colaborativo del usuario basado en elementos de filtrado colaborativo son de colaboración basado en la memoria
• Combina las ventajas de ambos modelos modelo híbrido, típicamente de lograr debido al efecto de ambos
• filtrado colaborativo basado en memoria puede mejor resolver el problema de arranque en frío
• filtrado colaborativo basado en memoria es relativamente simple, los nuevos datos se puede añadir más fácilmente

5, en colaboración sistema de recomendación de filtración está compuesto por un algoritmo muy clásica, se divide en función de filtrado colaborativo y elementos de filtrado de colaboración basadas en el usuario. Su esencia es predecir el interés del usuario mediante el cálculo de la similitud entre el usuario y el usuario, con el artículo o los artículos similitud, recomendar artículos más relacionados con el usuario. Utilice el conocimiento anterior para contestar las siguientes preguntas:

(1) y cinco de usuario A, B, C, D, E existente; tres elementos X, Y, Z, mediante el análisis de la historia de compras y la gente etiqueta retrato de un usuario en el sitio, el análisis de los distintos interés del usuario en diversos artículos índice. Índice de interés, consulte la tabla siguiente:

	X	Y	con
UN	3	4	3
si	2	4	4
C	3	5	4
re	2	2	3
mi	4	1	4

cámara E ahora se recomienda requiere un usuario conocido A, B, C, D tres tipos de interés en la cámara M, N, O de puntuación siguiente:

	METRO	norte	la
UN	3	4	3
si	5	1	2
C	2	5	5
re	4	2	3

Por favor, recomendar el mejor orden dada a la cámara E, dando un proceso de respuesta detallada

(2) En los problemas antes mencionados, podemos encontrar, filtrado colaborativo para los usuarios de los datos históricos depender fuerte, entonces el problema de arranque en frío, qué tipo de solución mejor?

6, testimonios en video la escena demasiado centrado recomendación de vídeo tiende a debilitar la experiencia del usuario, por lo que el sistema traerá una sensación de sorpresa el descubrimiento al usuario a través de un cierto grado de aleatoriedad. Suponiendo una escena recomendada, el A y B calculados son dos de vídeo de usuario de la casación de usuario actual fueron de 0,8 puntos y 0,2 puntos, el sistema de A genera una aleatorias distribuidas uniformemente a la puntuación final de 0 a 0,8, con el fin de generar B una distribución uniforme en la puntuación final de 0 a 0,2, entonces la puntuación de probabilidad de la fracción final B es mayor que a es (B)

1/2, 1 / 8,1 / 16,1 / 4

7, se utiliza a menudo en sistema de recomendación de filtrado colaborativo, incluyendo el filtrado de colaboración basada en memoria, y un modelo híbrido basado en modelo de filtrado colaborativo, la declaración siguiente es correcta

• filtrado colaborativo basado en modelos puede manejar mejor los problemas de escasez de datos
• filtrado colaborativo elemento de información no deseada basada en el contenido del modelo
• filtrado colaborativo basado en memoria puede mejor resolver el problema de arranque en frío
• filtrado colaborativo basado en memoria es relativamente simple, los nuevos datos se puede añadir más fácilmente

8, habla de la descomposición de la matriz

9, word2vec brevemente; deslizamiento charla parámetro de tamaño de ventana, y un número negativo de muestras y el establecimiento de la relación; aprender a medir la calidad de la incrustación

10, charla sobre el algoritmo sistema de recomendación se puede dividir en qué clases: (1) basado en el contenido, (2) sobre la base de filtrado colaborativo: Basado en la memoria (UB IB); basado en el modelo (MF)

11, el proceso de derivación LR

12, que ilustra la estructura se forma en que la almacena? Con esta configuración que haces lograr figura profundidad / primera traversal amplitud, un recorrido en profundidad logrado con una estructura de pila; primero traversal logrado por la estructura de cola

13, una descripción detallada del trabajo, derramares el marco general?

14, Random bosques tienen que entenderlo? Sé que hay métodos de muestreo posterior de la misma? Dado n bolas, muestreados con reemplazo. Cuando n tiende a infinito cuando una pelota no es tomar cuál es la probabilidad?

15, la extracción de palabras clave, ¿cómo? TF-IDF han mejorado? ¿Cómo mejorar? Y la diferencia TextRank?

16, fórmula UserCF, ItemCF? El principio de la diferencia? Sobre la base de la diferencia entre el contenido recomendado?

cuestiones relacionadas con el aprendizaje de la máquina 2.2

clave:

• La regresión lineal, la regresión logística
• Árbol de decisión algoritmos relacionados: árboles de decisión, al azar forestal, GBDT, XGboost
• agrupación de los algoritmos relacionados
• Redes Neuronales: NN principios básicos relevantes
• Optimización Algoritmo: regularización, el descenso de gradiente, etc.

principio 1.GBDT ** (conocimiento) **

2. ¿Cómo dividir una selección de características nodo del árbol? (Conocimiento)

3. Escribir y ganancia de información Índice de Gini fórmulas y ejemplificada

(Conocimiento)

4. ¿Cuál es la clasificación del árbol y el árbol de regresión diferencia es? (Conocimiento)

5. comparar y Random Forest, y con el fin de explicar qué modelo 6.Bias y Varianza ** (conocimiento) **

Parámetro de ajuste 7.XGBoost de lo que la experiencia ** (herramienta) **

8.XGBoost regularización es ** (herramienta) cómo lograr **

paralelización parte 9.XGBoost es cómo lograr ** (herramienta) **

10. ¿Por qué se predice subidas y bajadas severas de la Bolsa de sobreajuste suelen aparecer

(Negocios)

¿Cuál es la definición de la función 1.softmax es? (Conocimiento)

2. Red Neuronal Por qué desaparecería fenómeno gradiente? (Conocimiento)

3. ¿Cuáles son función de activación común? ¿Cuáles son las características? (Conocimiento)

4. Escoja una función de activación de la derivación de la descenso de gradiente. (Conocimiento + lógica)

Lo 5.Attention mecanismo? (Conocimiento)

6. Ali es la forma de introducir el modelo recomendado de mecanismos de atención? (Conocimiento + Negocios)

7.DIN lo que la lógica de negocio se basa en la introducción de mecanismos de atención? (Negocios)

Los usuarios 8.DIN y las materias primas fueron la incorporación, por favor hable con claridad a dos 9. Método sabes incrustación. (Conocimiento)

10. ¿Cómo porción similar DIN como modelo de aprendizaje ** (+ Herramienta de negocio) de profundidad **

Para encontrar información relevante para encontrar más preguntas de la entrevista: "Cien cara de aprendizaje automático"

2.3 marco

• Big Data marco pertinente: chispa, hbase, Colmena, kafka
• marco de aprendizaje profundo: TensorFlow

2.4 Procesos de Negocio

• Resumen del proyecto

3, escritura del curriculum vitae a guiar el proyecto

En segundo lugar, la adquisición de habilidades (basado en la selectividad aumenta el empleo de orientación Modificar Eliminar)

1, la máquina de aprendizaje relevante, el modelo, la teoría de algoritmos, procesamiento característica

2, la recomendación de aprendizaje profundo, recomendar base relacionada

3, gran trama de datos, utilizando una base de datos

• Numpy uso experto herramienta informática científica, pandas paquete de análisis de datos, herramientas de visualización de datos matplotlib para la manipulación de datos y similares, la adquisición, el procesamiento, la limpieza, la visualización, conjunto estructurado de datos.
• marco familiarizado scikit-learn máquina de aprendizaje, maestros K-vecinos, LinearRegression, LogisticsRegression, RidgeRegression, LassoRegression, Árbol de decisiones, Bayes, SVM, K-medias máquina algoritmo de aprendizaje.
• Familiarizados con el PCA para reducir la dimensionalidad de los datos.
• La habilidad en el uso de las características del proyecto (REF, ji 2).
• El método de procesamiento básico familiarizado con el conjunto de datos (manejo null, la normalización de datos y la normalización)
• underfitting Familiar, sobre montaje causas y soluciones generadas.
• elementos de búsqueda de rejilla aplicación expertos, la validación cruzada, el parámetro de sintonización confusión modelo de matriz y el modelo de evaluación.
• la integración familiar y popular de algoritmos de clasificación, tales como RF (embolsado), GBDT (Impulso) algoritmo.
• Utilice hadoop familiar de los componentes de construcción y afines (Yarn, HDF, MapReduce), el desarrollo;
• uso experto Canal de flujo de la herramienta de adquisición de datos;
• Familiar con base de datos utilizando hbase, MySQL, etc., así como la preparación de Hivesql;
• herramienta de procesamiento de mensaje familiar Kafka;
• chispa familiar, sql chispa, chispa de streaming modelo de la arquitectura y el uso;
• el uso adecuado del sistema Linux, Linux comando shell convencional conocida, se puede establecer un sistema de entorno de desarrollo Linux;
• Dominar el uso de la herramienta de migración de datos Sqoop;
• Familiarizados aprendizaje profundidad marco TensorFlow.

En tercer lugar, la descripción del proyecto escrito (modificado de acuerdo con características del proyecto mayor selectividad suprimido):

1, descripción del artículo

Muestra:

Dark Horse sistema de recomendación titular construida sobre el gran número de usuarios y el artículo masiva, utilizando la arquitectura Lambda integrar tiempo real y fuera de línea de computación, con el entorno de computación distribuida para mejorar la capacidad, mediante clic, navegar, recolección y otros actos de recogida Canal de flujo de usuarios, establecer el retrato del usuario y el artículo retratos, y se almacenan en el grupo HDFS; computar establecer COLMENA característica SQL centro desconectado Spark, almacenado en el grupo HBase; recomendación inteligente por ALS, LR, ancha y profunda como el aprendizaje de las máquinas y el aprendizaje profundo, algoritmo de recomendación para lograr cliente mil caras de miles de personas recomendado efecto.

Descripción del Proyecto: Este proyecto es un sistema de recomendación personalizada. El proyecto de recomendación se basa en línea, las recomendaciones en tiempo real, complementados por una combinación de filtrado colaborativo y la recomendación basada en el contenido para mejorar la experiencia del usuario y la rigidez de los usuarios aumento y el tiempo. Los principales procesos de negocio incluyen el procesamiento de los datos, el modelado de los libros retrato, el procesamiento de datos de registro, las recomendaciones en tiempo real y en otras partes.

Descripción del artículo

Descripción del Proyecto: La casa ofrece un tema de discusión para los usuarios, servicio de almacén, encuestas plataforma de clientes, funciones de la comunidad. Amor todavía está anunciando el hogar sistema de recomendaciones destinadas a mejorar la tasa de conversión de los usuarios, mejorar los resultados empresariales, aumentar la experiencia del usuario, incluyendo la creación de un modelo de ELA importante, la retirada de productos, para lograr CTR estimaciones basadas en regresión logística, caché sin conexión de procesamiento de datos, recomendaciones en tiempo real, etc.

Descripción del Proyecto: El proyecto principalmente a través de la recopilación de datos sobre el comportamiento del usuario, los usuarios a menudo escuchar las preocupaciones y contenidos, así como la distribución de la edad del usuario, equipo terminal, el establecimiento de retratos de usuario para cada usuario, a través de modelo de formación, sistema de recomendación completa. El propósito es lograr un empuje más preciso, sin afectar a los negocios, para Push precisa, una mayor rigidez de los usuarios.

Con el creciente número de sitios de video, con el fin de una mejor experiencia de grados satisfacer al cliente, recomendaciones de películas que pueden resolver este problema. De acuerdo con el tipo de película, clasificaciones, además de información sobre el género, la edad, el análisis de datos multidimensional del usuario, los usuarios pueden lograr las películas favoritas recomendadas, para lograr el mismo tipo de películas recomendadas, personalizado al cliente sistema de recomendación de construcción, dando a los usuarios una buena de

Clasificación, análisis y recomendación resultados y datos para el comportamiento del usuario y mejorar constantemente la facilidad de uso del retrato;

El típico amigo redes sociales recomienda proyectos de diseño y desarrollo. El sistema está en el punto de vista del usuario, encontrar rápidamente llegar a ser amigos de sus usuarios afines y son. Los amigos nos recomendaron incluir elementos de segundo grado, tener un círculo común, los intereses comunes de los amigos, visitó las estrategias recomendadas, tales como el perfil personal, hasta gente de compras, círculo de lectura, etiqueta de preconización entonces no personalizada. Si los nuevos usuarios o los usuarios de edad pueden configurar rápidamente su propio círculo social en el sistema para mejorar la viscosidad de usuario.

El proyecto es una típica proyectos eléctricos recomendados por el fabricante, el sistema se recomienda principalmente para los usuarios de los productos básicos, lo que permite a los usuarios encontrar más velocidad que desea abrir, y los usuarios pueden comprar los bienes de consumo, este proyecto se basa en el comportamiento del usuario, incluyendo el historial de navegación del usuario los pesos correspondientes, recopilación, intercambio, compra y otros actos, el comportamiento de cada usuario da la pesada aplicación de filtrado colaborativo recomendación personalizada; clasificación de las ventas recientes, colección de índices, como recomendación no personalizada por ventas históricas, por la recolección del usuario por defecto filtrado de dirección del almacén de mercancías recomendadas

2, los proyectos de infraestructura y aspectos técnicos

arquitectura del proyecto: Canal de flujo + + Kafka HDFS + Streaming Spark Spark + SQL + + HBase TensorFlow

1, utilizando los datos de registro de canal recogió, los datos de comportamiento del usuario recogidos para HDFS

2, por Canal de flujo recogido datos de comportamiento del usuario a los HDFS;

3, Kafka atracar el comportamiento del usuario canal de registro recopilada a la cola de mensajes;

4, Spark Streaming en tiempo real el procesamiento de registros de transmisión clic Kafka, actualizadas en función de tiempo real, actualizada en tiempo real al conjunto de recuerdo;

1. datos de registro de pulsaciones adquiridos a través del Canal de flujo, y el acceso a MySQL Sqoop datos estáticos;

2. Hdfs Guardar datos para construir la colmena de almacenamiento de datos;

3. Al leer el fichero de datos por chispa, para el procesamiento de datos;

4. Eventualmente guardar los datos en hbase para guardar y Redis en hbase

5, archivos chispa conexión guardados tfrecords

6, usando el modelo en el estimador de formación TensorFlow

7, TF servir a la implementación del modelo

10, la palabra clave texto del artículo, construcción de palabras clave, TFIDF, el uso TextRank

11, el vector de texto se calcula word2vec

12, en el almacenamiento de etiquetas hbase, las etiquetas y las etiquetas y la comparación histórica, el coeficiente de atenuación se fusionó

3, Proyecto de Desarrollo de Negocio:

Se recomienda la clase social, recomendado por el proveedor de electricidad de bienes, información clases recomendación,

4, libros recomendados sitio Web

libros

"Sistema de sistema de recomendación y el aprendizaje profundo."

"Aprendizaje automático cara hundred"

"El aprendizaje automático" - Zhou Zhihua

papel de sitio web:

• RecSys: https://recsys.acm.org/best-papers/

Entender la dinámica de los cambios en el modelo de los últimos documentos de sistema recomendados. Varios nuevo año para aprender nueva estructura

preguntas de la entrevista, se recomienda la Comunidad:

• Prácticas | Misión de Estados Unidos algoritmos de aprendizaje automático de la cuadrilla de prácticas rodeado por avión (recomendado dirección del sistema) https://zhuanlan.zhihu.com/p/65034443?utm_source=wechat_session&utm_medium=social&utm_oi=752139001741201408
• Antes de hacer el proceso del sistema recomendada ha encontrado ningún hoyo? https://www.zhihu.com/question/32218407/answer/588762146?utm_source=wechat_session&utm_medium=social&utm_oi=752139001741201408
• 2019 recluta la escuela | algoritmo de la cara de la primavera + Resumen recluta (incluyendo BAT TM W, etc.): https://zhuanlan.zhihu.com/p/47150666?utm_source=wechat_session&utm_medium=social&utm_oi=752139001741201408
• 2019 otoño recluta | algoritmo Kong en avión (titulares Ali Netease iQIYI etc.) https://zhuanlan.zhihu.com/p/45287109?utm_source=wechat_session&utm_medium=social&utm_oi=752139001741201408