Usando word2vec, obtenemos la representación distribuida de palabras, entonces, ¿ cómo evaluamos los pros y los contras de las representaciones distribuidas? este sistema puede contener múltiples escenarios, y la representación distribuida de palabras se puede aprender por separado, por lo que la evaluación también necesita evaluar múltiples sistemas por separado, por lo que requiere mucho tiempo. Por lo tanto, la evaluación de representaciones distribuidas de palabras a menudo
es llevado a cabo por separado de la aplicación real, y los indicadores de evaluación utilizados con frecuencia tienen problemas de similitud y analogía
La evaluación de similitud de palabras generalmente se evalúa utilizando un conjunto de similitud de palabras creado manualmente. Por ejemplo, la similitud entre gato y animal es 8, y la similitud entre gato y automóvil es 2. Similar a esto, se usa una puntuación de 0-10 para compare la similitud entre palabras Luego compare los puntajes dados por las personas y la similitud de coseno dada por word2vec para examinar su correlación.La
evaluación de las preguntas de analogía se refiere a las preguntas de analogía como "rey: reina = hombre:?" Rate mide los pros y los contras de las representaciones distribuidas de palabras,
La evaluación de similitud de palabras es una forma común de pensar que uso. Se basa en la comparación entre los resultados del juicio manual y los resultados de la especulación del modelo. Por ejemplo, en la clasificación y el reconocimiento de entidades, el valor F1 del entrenamiento del modelo se usa como un índice de evaluación en el entrenamiento del modelo. Se necesita un sistema de evaluación en una escena real en línea para juzgar la calidad de los resultados del entrenamiento del modelo. Después de que los resultados del juicio manual sean juzgados por el algoritmo NDCG con los resultados del razonamiento del modelo, o el valor de F1 es calculado de nuevo.