1.8 ¿Por qué es el rendimiento humano? Aprendizaje profundo Lección 3 "Proyecto de aprendizaje automático estructurado" -Profesor Stanford Wu Enda

¿Por qué el rendimiento humano (¿Por qué el rendimiento a nivel humano?)

En los últimos años, más equipos de aprendizaje automático han estado discutiendo cómo comparar el rendimiento de los sistemas de aprendizaje automático y los humanos.

Creo que hay dos razones principales: Primero, debido al avance de los sistemas de aprendizaje profundo, los algoritmos de aprendizaje automático han mejorado de repente. En muchas áreas de aplicación del aprendizaje automático, se ha comenzado a ver que los algoritmos amenazan el rendimiento humano. En segundo lugar, resulta que cuando intentas hacer que las máquinas hagan lo que los humanos pueden hacer, puedes diseñar cuidadosamente el flujo de trabajo del sistema de aprendizaje automático para hacer que el flujo de trabajo sea más eficiente, por lo que en estas situaciones, es natural comparar humanos y máquinas, o Desea que la máquina imite el comportamiento humano.

Echemos un vistazo a algunos de estos ejemplos. Veo que en muchas tareas de aprendizaje automático, cuando pasas mucho tiempo en un problema, entonces $X$ eje$x$ es el tiempo, que puede ser de muchos meses o incluso muchos años. Durante estos tiempos, algunos equipos o grupos de investigación están estudiando un problema. Cuando comienzas a trabajar hacia el nivel humano, el progreso es muy rápido. Pero después de un tiempo, cuando este algoritmo funciona mejor que los humanos, el progreso y la precisión se vuelven más lentos. Tal vez mejorará cada vez más, pero después de superar el nivel humano, aún puede mejorar, pero la pendiente de la tasa de aumento del rendimiento y el aumento de la precisión se volverán cada vez más suaves, todos esperamos lograr Nivel de rendimiento teórico óptimo. Con el tiempo, cuando continúa entrenando el algoritmo, el modelo puede ser más grande y tener más datos, pero el rendimiento no puede exceder un cierto límite superior teórico, que se denomina tasa deerror óptima de Bayes(tasa deerror óptima de Bayes)) Por lo tanto, la tasa de error óptima bayesiana generalmente se considera la tasa de error óptima teóricamente posible, es decir, no hay forma de diseñar un $X$ a $y$La función de$y\; le$ permite superar una cierta precisión.

Por ejemplo, para reconocimiento de voz, si $X$ es un clip de audio, algo de audio es tan ruidoso que es básicamente imposible saber lo que se dice, por lo que la precisión perfecta puede no ser del 100%. O para el reconocimiento de imágenes de gatos, tal vez algunas imágenes sean muy borrosas, ya sea humano o una máquina, es imposible juzgar si hay un gato en la imagen. Por lo tanto, la precisión perfecta puede no ser del 100%.

La tasa de error óptima bayesiana a veces se escribe como bayesiana , es decir, omitir óptima , es de $X$ a $y$ la teoría de correlación de funciones óptima, nunca será superada. Por lo tanto, no debe sorprenderse. Esta línea púrpura, no importa cuántos años trabaje en un problema, nunca excederá la tasa de error bayesiana, la mejor tasa de error bayesiana.

Los hechos han demostrado que el aprendizaje automático tiende a progresar bastante rápido hasta que se supera el rendimiento humano. A veces, cuando se supera el rendimiento humano, el progreso a veces se ralentiza. Creo que hay dos razones por las cuales el progreso se ralentizará cuando superes el rendimiento humano. Una razón es que el nivel humano no está lejos de la tasa de error óptima bayesiana en muchas tareas. Las personas son muy buenas para mirar imágenes y distinguir si hay gatos o audio de dictado. Por lo tanto, cuando se supera el rendimiento humano, puede que no haya mucho margen de mejora. Pero la segunda razón es que, siempre y cuando su rendimiento sea peor que el rendimiento humano, en realidad puede usar algunas herramientas para mejorar el rendimiento. Una vez que superas el rendimiento humano, estas herramientas no son tan fáciles de usar.

Lo que quiero decir es que para las tareas en las que los humanos son bastante buenos, incluido el reconocimiento de cosas al mirar imágenes, dictar audio o leer idiomas, los humanos generalmente son buenos para procesar estos datos naturales. Para las tareas en las que los humanos son buenos, siempre y cuando su algoritmo de aprendizaje automático sea inferior al de los humanos, puede ayudar a las personas a etiquetar datos por usted. Puede ayudar a las personas o gastar dinero para etiquetar ejemplos para usted, para que tenga más datos Se puede alimentar al algoritmo de aprendizaje. Discutiremos el análisis de la tasa de error artificial la próxima semana, pero siempre que el rendimiento humano sea mejor que cualquier otro algoritmo, puede dejar que los humanos vean ejemplos del procesamiento de su algoritmo, saber dónde está el error e intentar entender por qué las personas pueden hacerlo bien , El algoritmo está mal. Como veremos la próxima semana, esto ayudará a mejorar el rendimiento del algoritmo. También puede analizar mejor las desviaciones y las variaciones, hablaremos de ellas más adelante. Pero mientras su algoritmo sea aún peor que los humanos, tiene estas estrategias importantes para mejorar el algoritmo. Una vez que su algoritmo es mejor que los humanos, estas tres estrategias son difíciles de usar. Por lo tanto, este puede ser otro beneficio en comparación con el rendimiento humano, especialmente en tareas que los humanos hacen bien.

Por qué los algoritmos de aprendizaje automático a menudo son buenos para imitar lo que los humanos pueden hacer y luego ponerse al día incluso más allá del rendimiento humano. En particular, incluso si sabe cuál es la desviación, cuál es la varianza. Saber qué tan bien pueden hacer los humanos en tareas específicas puede ayudarlo a comprender mejor si debe enfocarse en tratar de reducir el sesgo o reducir la varianza, quiero darle un ejemplo en el próximo video.

Pizarra del curso