Redes Neuronales y Aprendizaje Profundo

El primer curso Redes Neuronales y Deep Learning

Semana 1: Introducción al aprendizaje profundo

1.1 Bienvenido

El primer video habla principalmente sobre qué es el aprendizaje profundo y qué se puede hacer con el aprendizaje profundo. Las siguientes son las palabras originales del maestro Wu Enda:

El aprendizaje profundo ha cambiado los servicios de Internet tradicionales, como la búsqueda web y la publicidad. Pero el aprendizaje profundo también permite que muchos productos y empresas nuevos ayuden a las personas de muchas maneras, desde una mejor atención médica.

Un aspecto muy bueno del aprendizaje profundo es la lectura de imágenes de rayos X, la educación personalizada en la vida, la agricultura de precisión e incluso la conducción de automóviles y otros aspectos. Si desea aprender estas herramientas de aprendizaje profundo y aplicarlas para realizar estas operaciones alucinantes, este curso lo ayudará a hacerlo. Cuando complete esta serie de cursos especiales en Cousera , podrá continuar el camino del aprendizaje profundo con más confianza. Durante la próxima década, creo que todos tenemos la oportunidad de crear un mundo y una sociedad asombrosos, y ese es el poder de la IA (inteligencia artificial). Espero que desempeñe un papel importante en la creación de una sociedad de IA (inteligencia artificial).

Creo que la IA es la electricidad más nueva, hace unos cien años, la electrificación de nuestra sociedad cambió todas las industrias importantes, desde la industria del transporte hasta la fabricación, la atención médica, las comunicaciones, etc. Creo que hoy estamos viendo el impacto obvio de la IA Asombroso energía, resultando en una transformación igualmente dramática. Obviamente, entre las diversas ramas de la IA, la que se desarrolla más rápidamente es el aprendizaje profundo. Así que ahora, el aprendizaje profundo es una técnica popular en el mundo de la tecnología.

A través de este curso y los cursos que siguen a este curso, adquirirá y dominará esas habilidades.

Esto es lo que aprenderá:

En esta serie de cursos también llamados cursos de especialización, en el primer curso ( redes neuronales y aprendizaje profundo ) aprenderás los conceptos básicos de las redes neuronales, estudiarás redes neuronales y aprendizaje profundo, este curso tendrá una duración de cuatro semanas, cada curso en el La especialización tendrá una duración de 2 a 4 semanas.

Pero en el primer curso, aprenderá cómo construir redes neuronales (incluida una red neuronal profunda) y cómo entrenarlas con datos. Al final de este curso, utilizará una red neuronal profunda para identificar gatos.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-B1fEQUM3-1674011004897) (…/images/ac477ba60e120e318cfb2ed71ff55478.png)]

Por alguna razón, la primera clase usará gatos como reconocimiento de objetos.

Luego, en el segundo curso, usaremos tres semanas. Se pondrá manos a la obra con el aprendizaje profundo y aprenderá cómo construir rigurosamente una red neuronal y hacer que funcione bien, por lo que aprenderá sobre el ajuste de hiperparámetros, la regularización, el diagnóstico de sesgo y varianza, y algunos algoritmos de optimización avanzados como Momentum. y los algoritmos de Adam , como la magia negra en la forma en que construye su red. El segundo curso tiene solo tres semanas de tiempo de estudio.

En el tercer curso, usaremos dos semanas para aprender a estructurar su proyecto de aprendizaje automático. Resulta que las estrategias para construir sistemas de aprendizaje automático revierten los errores del aprendizaje profundo.

Como ejemplo: la forma en que divide los datos, en un conjunto de entrenamiento, un conjunto de comparación o un conjunto de validación alterado y un conjunto de prueba, cambia el error del aprendizaje profundo.

Entonces, ¿cuál es la mejor práctica?

Las diferentes contribuciones de su conjunto de entrenamiento y conjunto de prueba tienen una gran influencia en el aprendizaje profundo, entonces, ¿cómo debe manejarlo?

Si ha oído hablar del aprendizaje profundo de extremo a extremo, también aprenderá más sobre él en el tercer curso y luego sabrá si necesita usarlo. El material del tercer curso es relativamente único, y lo haré compartirlo contigo Todos los dominios candentes que hemos aprendido construyen y refinan muchos problemas de aprendizaje profundo. La mayoría de estos materiales populares hoy en día no se enseñan en sus clases de aprendizaje profundo en la mayoría de las universidades. Creo que lo ayudará a hacer que el sistema de aprendizaje profundo funcione mejor.

En el cuarto curso, mencionaremos las redes neuronales convolucionales ( CNN(s) ), que se utilizan a menudo en el campo de la imagen, y aprenderá a construir un modelo de este tipo en el cuarto curso.

Finalmente, en el quinto curso, aprenderás sobre modelos de secuencias y cómo aplicarlos al procesamiento del lenguaje natural, entre otros problemas.

El modelo de secuencia incluye modelos como la red neuronal recurrente ( RNN ), y el nombre completo es red de memoria a corto plazo ( LSTM ). Aprenderá qué es un punto en la lección 5 y podrá aplicarlo a problemas de procesamiento del lenguaje natural ( PNL ).

En resumen, aprenderá sobre estos modelos en el curso cinco y podrá aplicarlos a datos de secuencia. Por ejemplo, el lenguaje natural es una secuencia de palabras. También podrá comprender cómo se pueden aplicar estos modelos al reconocimiento de voz o la composición musical y otros problemas.

Entonces, a través de estos cursos, aprenderá estas herramientas de aprendizaje profundo y podrá usarlas para hacer cosas increíbles y usarlas para mejorar su carrera.

andres ng

---

1.2 ¿Qué es una red neuronal? (Qué es una Red Neuronal)

A menudo usamos el término aprendizaje profundo para referirnos al proceso de entrenamiento de redes neuronales. A veces se refiere al entrenamiento particularmente a gran escala de redes neuronales. Entonces, ¿qué son exactamente las redes neuronales? En este video, cubriré algunos conceptos básicos intuitivos.

Comencemos con un ejemplo de predicción del precio de la vivienda.

Suponga que tiene un conjunto de datos que contiene información sobre seis casas. Entonces, usted sabe cuántos pies cuadrados o metros cuadrados tiene la casa y sabe el precio de la casa. En este caso, desea ajustar una función que prediga los precios de las casas en función de su tamaño.

Si está familiarizado con la regresión lineal, podría decir: "Está bien, ajustemos una línea recta a estos datos". Entonces, podría terminar con una línea como esta.

[Transferencia de imagen de enlace externo falló, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y subirla directamente (img-TqRqPdki-1674011004898) (…/images/3fe6da26014467243e3d499569be3675.png)]

Pero curiosamente, como habrás notado, sabemos que los precios nunca pueden ser negativos. Entonces, en lugar de una línea recta que haría que el precio fuera negativo, doblamos un poco la línea para que termine en cero. Esta línea azul gruesa termina siendo su función para predecir precios según el tamaño de la casa. Hay partes que son cero y partes que son líneas rectas que encajan bien. Podría pensar que esta función solo se ajusta a los precios de la vivienda.

Como red neuronal, esta es casi probablemente la red neuronal más simple. Tomamos el área de la casa como entrada a la red neuronal (llamémosla $x$ ), a través de un nodo (un círculo pequeño), y finalmente genera el precio (usamos$y$ significa). De hecho, este pequeño círculo es una sola neurona. Entonces su red implementa la función de la función de la izquierda.

En la literatura sobre redes neuronales, a menudo verá esta función. Comienza cerca de cero y se convierte en una línea recta. Esta función se denomina función de activación ReLU , y su nombre completo es Unidad Lineal Rectificada . rectificar (corrección) puede entenderse como $máx(0,\_x)$ , por lo que obtienes una función de esta forma.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-tCFok3rW-1674011004899) (…/images/9433d636eeeaa3469910ae75298820cc.png)]

No se preocupe por no entender la función ReLU ahora, la verá nuevamente más adelante en esta clase.

Si se trata de una red de una sola neurona, sin importar el tamaño, se forma apilando estas neuronas individuales juntas. Si piensa en estas neuronas como ladrillos de Lego individuales, está construyendo una red neuronal más grande al construirlas juntas.

Veamos un ejemplo, no solo usamos el tamaño de la casa para predecir su precio, ahora tiene algunas otras características de la casa, como la cantidad de habitaciones, tal vez un factor muy importante, la cantidad de familias será También afectando los precios de las casas, ¿esta casa puede alojar a una familia oa una familia de cuatro o cinco personas? Y realmente se basa en el tamaño de la casa y la cantidad de dormitorios que realmente determina si una casa se ajustará al tamaño de su familia.

En un tema diferente, es posible que sepa que el código postal puede ser una característica que le indique qué tan transitable es. Al igual que el vecindario, es muy transitable a pie, puede caminar hasta la tienda de comestibles o la escuela y necesita conducir un automóvil. A algunas personas les gusta vivir en áreas que en su mayoría son transitables, y también se correlaciona con la riqueza según el código postal (en los EE. UU.). Pero también puede reflejar lo buenas que son las escuelas cercanas en otros países.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-Wul57Kcu-1674011004899) (…/images/d900d26b850d55abce36d4c8daf71327.png)]

Cada pequeño círculo dibujado en el gráfico puede ser parte de ReLU , es decir, una unidad lineal modificada u otras funciones ligeramente no lineales. El tamaño del hogar se puede estimar en función del tamaño de la casa y la cantidad de habitaciones, y la capacidad para caminar o la calidad de la escuela se puede estimar en función del código postal. Al final, podría pensar que estos determinan cuánto está dispuesta a gastar la gente.

Para una casa, estas son cosas que están estrechamente relacionadas con ella. En este escenario, el tamaño del hogar, la accesibilidad para peatones y la calidad de las escuelas ayudan a predecir el precio de una casa. Usando esto como un ejemplo, $x$ son las cuatro entradas,$y$ es el precio que está tratando de predecir, y al apilar estas neuronas individuales, tenemos una red neuronal un poco más grande. Esto muestra la magia de las redes neuronales, aunque he descrito una red neuronal que puede requerir que obtenga el tamaño de la casa, el grado de transitabilidad y la calidad de las escuelas u otros factores que afectan el precio.
[Falló la transferencia de la imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y subirla directamente (img-wBzFVZFn-1674011004900)(…/images/7a0e0d40f4ba80a0466f0bd7aa9f8537.png)] Parte de la magia de la red neuronal es que
cuando Después de implementarlo, todo lo que tiene que hacer es escribir$x$ , puede obtener la salida$y$ . Porque puede calcular la cantidad de muestras en su conjunto de entrenamiento y todos los procesos intermedios por sí mismo. Entonces, lo que en realidad está haciendo es esto: aquí hay una red neuronal con cuatro entradas, y las características de entrada pueden ser el tamaño de la casa, la cantidad de habitaciones, el código postal y la riqueza del área. Dadas las características de estos insumos, el trabajo de la red neuronal es predecir el precio correspondiente. Observe también que estos se denominan círculos unitarios ocultos y, en una red neuronal, cada uno de ellos obtiene su propia entrada de las cuatro características de la entrada, por ejemplo, el primer nodo representa el tamaño de la familia, y el tamaño de la familia depende solo de$X_{}$y $X_{}$Características, en otras palabras, en una red neuronal, usted decide lo que quiere obtener en este nodo y luego usa las cuatro entradas para calcular lo que desea obtener. Por lo tanto, decimos que la capa de entrada y la capa intermedia están estrechamente conectadas.

Vale la pena señalar que la red neuronal brinda suficiente información sobre $x$和$y$ datos, dadas suficientes muestras de entrenamiento sobre$x$和$y$ . Las redes neuronales son muy buenas en computación desde$x$到$Una\; función\; de\; mapeo\; exacta\; para\; y$ .

Esta es una red neuronal básica. Puede encontrar que su propia red neuronal es tan efectiva y poderosa en el contexto del aprendizaje supervisado, es decir, simplemente intenta ingresar un $x$ , que se puede asignar a$y$ , al igual que el efecto que vimos en el ejemplo de la predicción del precio de la vivienda hace un momento.

En el siguiente video, repasemos algunos ejemplos más de aprendizaje supervisado que le harán pensar que su red será muy útil y que realmente la aplicará.

1.3 Aprendizaje Supervisado con Redes Neuronales

También hay muchos tipos de redes neuronales. Teniendo en cuenta sus efectos de uso, algunos son correctos, pero los hechos muestran que casi todo el valor económico creado por las redes neuronales hasta ahora es esencialmente inseparable de un tipo de aprendizaje automático llamado aprendizaje supervisado. categoría, vamos echa un vistazo a un ejemplo.

En el aprendizaje supervisado tienes algo de entrada $x$ , desea aprender una función para asignar a alguna salida$y$ , como el ejemplo de predicción del precio de la casa que mencionamos antes, solo necesita ingresar algunas características sobre la casa e intentar generar o estimar el precio$y$ . Damos algunos otros ejemplos para ilustrar que las redes neuronales se han aplicado efectivamente a otros lugares.

[Falló la transferencia de la imagen del enlace externo, el sitio de origen puede tener un mecanismo de enlace antirrobo, se recomienda guardar la imagen y cargarla directamente (img-B9uLCxLr-1674011004900) (…/images/ec9f15da25c4072eeedc9ba7fa363f80.png)]

Una de las aplicaciones más lucrativas del aprendizaje profundo en la actualidad es la publicidad en línea. Puede que no sea el más inspirador, pero es realmente lucrativo. Específicamente, al ingresar la información relevante de un anuncio en el sitio web, debido a que también se ingresa la información del usuario, el sitio web considerará si mostrarle el anuncio.

Las redes neuronales ya son muy buenas para predecir si hará clic o no en este anuncio, y esta es una aplicación de redes neuronales que ha mejorado increíblemente la monetización en muchas empresas al mostrarle al usuario el anuncio en el que es más probable que haga clic. Debido a esta capacidad de mostrarle los anuncios en los que es más probable que haga clic, un cambio en el comportamiento de este clic puede afectar directamente los ingresos de algunas de las mayores empresas de publicidad en línea.

La visión artificial también ha recorrido un largo camino en los últimos años, también gracias al aprendizaje profundo. Puede tomar una imagen y desea generar un índice que va del 1 al 1000 para tratar de decirle la foto, podría ser, digamos, cualquiera de las 1000 imágenes diferentes, por lo que puede elegir usar eso. Vamos a etiquetar las fotos .

Los avances recientes en el aprendizaje profundo para el reconocimiento de voz también son muy emocionantes, ahora puede enviar un clip de audio a una red neuronal y hacer que genere una transcripción de texto. Gracias al aprendizaje profundo, la traducción automática también ha progresado mucho. Puede usar una red neuronal para ingresar una oración en inglés y luego generar una oración en chino.

En la tecnología de conducción automática, puede ingresar una imagen, al igual que un radar de información que muestra lo que hay delante del automóvil. En base a esto, puede entrenar una red neuronal para indicar la posición específica del automóvil en la carretera. Así es como la red neuronal automáticamente Un componente clave en el sistema de conducción.

Entonces, el sistema de aprendizaje profundo ya puede crear tanto valor, a través de una selección inteligente, cuáles son xxcual$x$$y$ , para abordar su problema actual, y luego ajuste la parte de aprendizaje supervisado, que a menudo es un sistema más grande, como la conducción automática. Esto muestra que tipos ligeramente diferentes de redes neuronales también pueden producir diferentes aplicaciones. Por ejemplo, cuando se aplicó al campo inmobiliario que mencionamos en el último video, ¿no usamos simplemente una arquitectura de red neuronal estándar común?

Tal vez una red neuronal relativamente estándar para bienes raíces y publicidad en línea, como hemos visto antes. Para aplicaciones de imágenes, a menudo usamos convolución ( Red neuronal convolucional ) en redes neuronales , a menudo abreviada como CNN . Para los datos secuenciales, como el audio, hay un componente temporal y el audio se reproduce a lo largo del tiempo, por lo que el audio es la representación más natural. Como una serie de tiempo unidimensional (dos refranes ingleses serie de tiempo unidimensional / secuencia temporal ) Para datos de secuencia, RNN , una red neuronal recurrente ( Red neuronal recurrente ), idioma, alfabetos o palabras en inglés y chino a menudo se usan One- por uno, por lo que el idioma también es la secuencia de datos más natural, por lo que a menudo se utilizan versiones más complejas de RNN para estas aplicaciones.

Para una aplicación más compleja como la conducción autónoma, tiene una imagen que podría mostrar más una estructura CNN donde la información del radar es completamente diferente, podría tener una más personalizada o una arquitectura de red neuronal híbrida algo más compleja. Entonces, para ser más específicos sobre lo que es una estructura CNN y RNN estándar , en la literatura es posible que haya visto esta imagen, que es una red neuronal estándar.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-jfhO0Xvo-1674011004901) (…/images/6cda3361ce142b4347593db842d95ef0.png)]

Es posible que también haya visto esta imagen, que es un ejemplo de una red neuronal convolucional.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo de enlace antirrobo, se recomienda guardar la imagen y cargarla directamente (img-F3dWwNvF-1674011004901) (…/images/1bebe0ac41715ef8132f2d802968495c.png)]

Comprenderemos el principio y la implementación de esta imagen en los siguientes cursos.Las redes convolucionales ( CNN ) se utilizan generalmente para datos de imágenes.

También puede ver una imagen de este tipo y aprenderá a implementarla en una lección posterior.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-IpWGPWi0-1674011004901) (…/images/4656617e30e7ad44490fe605b2e49e56.png)]

Las redes neuronales recurrentes ( RNN ) son muy adecuadas para este tipo de secuencias unidimensionales, donde los datos pueden tener un componente temporal.

Es posible que también haya oído hablar de la aplicación del aprendizaje automático a datos estructurados y no estructurados, los datos estructurados significan la base de datos básica de datos. Por ejemplo, en la predicción del precio de la vivienda, puede tener una base de datos con varias columnas de datos que le indiquen el tamaño y la cantidad de habitaciones, que son datos estructurados. O predecir si el usuario hará clic en el anuncio, puede obtener información sobre el usuario, como la edad y alguna información sobre el anuncio, y luego etiquetar su clasificación de predicción, que son datos estructurados, es decir, cada función, como el tamaño de la casa El número de dormitorios, o la edad de un usuario, están bien definidos.

Por el contrario, los datos no estructurados se refieren a cosas como audio, audio sin procesar o imágenes o texto que desea reconocer. Una característica aquí podría ser un valor de píxel en una imagen o una sola palabra en el texto.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-QvQz3MHr-1674011004902) (…/images/86a39d40cb13842cd6c06463cd9b4a83.png)]

A partir de la experiencia histórica, es difícil tratar con datos no estructurados. En comparación con los datos estructurados, es difícil para las computadoras comprender los datos no estructurados. Los seres humanos han evolucionado para ser muy buenos en la comprensión de señales de audio e imágenes. El texto es un invento más moderno, pero la gente es muy buena interpretando datos no estructurados.

El surgimiento de las redes neuronales es una de las cosas más emocionantes como esta, gracias al aprendizaje profundo y las redes neuronales, las computadoras ahora pueden interpretar mejor los datos no estructurados que hace unos años, lo que crea una oportunidad para nosotros. Se utilizan muchas aplicaciones nuevas y emocionantes, reconocimiento de voz, reconocimiento de imágenes, procesamiento de textos en lenguaje natural, tal vez incluso más que hace dos o tres años. Debido a que las personas tienen una capacidad innata para comprender los datos no estructurados, es posible que haya escuchado más sobre el éxito de las redes neuronales en los datos no estructurados de los medios, cuando la red neuronal reconoce un gato que es realmente genial, todos sabemos que significa algo.

Pero los resultados también muestran que la creación de muchos valores económicos a corto plazo por parte de las redes neuronales también se basa en datos estructurados. Por ejemplo, un mejor sistema de publicidad, mejores sugerencias de ganancias y una mejor capacidad para procesar grandes datos. Muchas empresas han tenido que hacer predicciones precisas basadas en redes neuronales.

Entonces, en esta clase, muchas de las técnicas que discutiremos se aplicarán tanto a datos estructurados como no estructurados. Para explicar el algoritmo, vamos a dibujar un poco más en el ejemplo del uso de datos no estructurados, pero como puede imaginar, al usar redes neuronales en su propio equipo, espero que descubra que los algoritmos de redes neuronales son datos muy estructurados. es útil.

Las redes neuronales han cambiado el aprendizaje supervisado y están creando un enorme valor económico. Los hechos han demostrado que la mayoría de las ideas técnicas detrás de las redes neuronales básicas no están muy lejos de nosotros, algunas de las cuales tienen décadas de antigüedad, entonces, ¿por qué recién comienzan ahora y el efecto es tan grande Bueno, en el próximo video hablaremos de por qué las redes neuronales recientes se han convertido en una herramienta tan poderosa a su disposición.

1.4 ¿Por qué está aumentando el aprendizaje profundo? (¿Por qué está despegando el aprendizaje profundo?)

Esta sección del video se enfoca en los principales factores que hacen que el aprendizaje profundo sea tan popular. Incluye escala de datos, volumen de cálculo e innovación de algoritmos.

Las ideas técnicas subyacentes que precedieron al aprendizaje profundo y las redes neuronales han existido probablemente durante décadas, ¿por qué de repente se están volviendo populares ahora? Esta sesión se centra en algunos de los principales impulsores que hacen que el aprendizaje profundo sea tan popular y lo ayudará a identificar las mejores oportunidades para aplicar estas cosas dentro de su organización.

En los últimos años, muchas personas me han preguntado por qué el aprendizaje profundo puede ser tan efectivo. Cuando respondo a esta pregunta, generalmente les dibujo un gráfico, dibujo una forma en el eje horizontal, donde se representa el volumen de datos de todas las tareas, y en el eje vertical, el rendimiento del algoritmo de aprendizaje automático. Por ejemplo, la precisión se refleja en el filtrado de correo no deseado o la predicción de clics publicitarios, o la precisión de la red neuronal al juzgar la ubicación del automóvil autónomo. Según la imagen, se puede encontrar que si dibuja el rendimiento de un algoritmo de aprendizaje automático tradicional como la cantidad de datos En función de , es posible que obtenga una línea curva, como en el gráfico, donde su rendimiento aumenta inicialmente a medida que agrega más datos, pero después de un tiempo se comporta como una meseta. Digamos que sus ejes horizontales son muy, muy largos, no saben cómo manejar grandes cantidades de datos y muchos de los problemas que hemos tenido en la sociedad durante la última década tienen cantidades de datos relativamente pequeñas.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-FZJ0hbG5-1674011004903) (…/images/7a9a642c6c709d19eb0dd2b241f1ebaf.png)]

Gracias al advenimiento de la sociedad digital, la cantidad de datos ahora es enorme, y pasamos mucho tiempo en estos campos digitales, como sitios web de computadoras, software de teléfonos móviles y otros servicios digitales, que pueden crear datos y be cheap Las cámaras están configuradas en los teléfonos móviles, así como los acelerómetros y varios sensores, y también estamos recopilando más y más datos en el campo de Internet de las cosas. Solo en los últimos 20 años, para muchas aplicaciones, hemos recopilado grandes cantidades de datos mucho más allá de la escala en la que los algoritmos de aprendizaje automático pueden explotar sus fortalezas de manera eficiente.

Lo que muestra la red neuronal es que si entrena una red neuronal pequeña, entonces este rendimiento puede ser como la curva amarilla en la figura a continuación; si entrena una red neuronal un poco más grande, como una red neuronal de tamaño mediano (debajo de la Figura azul curva), funcionará mejor en algunos datos; si entrena una red neuronal muy grande, se volverá como la curva verde a continuación, y seguirá mejorando. Entonces puedes notar dos puntos: si quieres lograr un mayor rendimiento, entonces tienes dos condiciones para completar, la primera es que necesitas entrenar una red neuronal con una escala lo suficientemente grande como para aprovechar la enorme cantidad de datos, en además necesitas poder dibujar a $Esta\; posición\; del\; eje\; x$ , por lo que necesita una gran cantidad de datos. Por lo tanto, a menudo decimos que la escala ha estado impulsando el progreso del aprendizaje profundo. La escala aquí se refiere a la escala de la red neuronal. Necesitamos una red neuronal con muchas unidades ocultas, así como muchos parámetros y correlaciones, al igual que nosotros. necesita una gran red neuronal datos del mismo tamaño. De hecho, la forma más confiable de obtener un mejor rendimiento en las redes neuronales hoy en día suele serentrenar una red neuronal más grande o enviar más datos, lo que solo puede funcionar hasta cierto punto, porque al final se dedica más tiempo. sin datos, o termina con una red que es tan grande que tomará demasiado tiempo entrenarla, pero solo aumentar el tamaño nos hace perder mucho tiempo en el mundo del aprendizaje profundo. Para hacer este diagrama un poco más preciso técnicamente,$La\; cantidad\; de\; datos\; que\; se\; ha\; escrito\; debajo\; del\; eje\; x$ , aquí hay una cantidad de etiqueta (etiqueta), al agregar esta cantidad de etiqueta, es decir, cuando entrenamos muestras, ingresamos$x$ y etiqueta$y$ , luego introduzca un pequeño símbolo, use la letra minúscula$m$ representa el tamaño del conjunto de entrenamiento, o el número de muestras de entrenamiento, la letra minúscula$m$ combina algunos otros detalles en esta imagen en el eje horizontal.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-sCeq7Pkt-1674011004903) (…/images/2b14edfcb21235115fca05879f8d9de2.png)]

En este pequeño conjunto de entrenamiento, la prioridad de varios algoritmos en realidad no está muy claramente definida, por lo que si no tiene un gran conjunto de entrenamiento, el efecto dependerá de su capacidad de ingeniería de funciones, lo que determinará el rendimiento final. Supongamos que algunas personas entrenan una SVM (Máquina de vectores de soporte) que se comporta más cerca de las funciones correctas, mientras que otras personas entrenan a una escala mayor, tal vez el algoritmo SVM pueda funcionar mejor en este pequeño conjunto de entrenamiento . Entonces, sabe que en el lado izquierdo de esta área de gráficos, la prioridad entre varios algoritmos no está bien definida, y el rendimiento final depende más de su capacidad para seleccionar funciones con ingeniería y algunos detalles del procesamiento de algoritmos, pero en un entrenamiento muy grande conjuntos con big data, es decir, el $Cuando\; m$ se vuelve muy grande, podemos ver de manera más consistente otros métodos más grandes controlados por redes neuronales, por lo que si alguno de sus amigos le pregunta por qué las redes neuronales son tan populares, lo alentaría a dibujarlos como este gráfico.

Por lo tanto, se puede decir que en los primeros días del aprendizaje profundo, la escala de datos y la cantidad de cálculo se limitan a nuestra capacidad para entrenar una red neuronal particularmente grande, ya sea en la CPU o GPU, nos ha hecho grandes progreso Pero poco a poco, especialmente en los últimos años, también hemos sido testigos de grandes innovaciones en los algoritmos. Se han realizado muchas innovaciones algorítmicas en un intento de hacer que las redes neuronales funcionen más rápido.

Como ejemplo concreto, un gran avance en las redes neuronales fue cambiar de la función sigmoidea a una función ReLU , que cubrimos en el curso anterior.

[Falló la transferencia de la imagen del enlace externo, el sitio de origen puede tener un mecanismo de enlace antirrobo, se recomienda guardar la imagen y cargarla directamente (img-Af6OLWIP-1674011004904) (…/images/1a3d288dc243ca9c5a70a69799180c4a.png)]

Si no puedes entender cierto detalle que acabo de decir, no te preocupes, uno de los problemas que puedes saber sobre el uso de la función sigmoidea y el aprendizaje automático es que en esta área, es decir, el gradiente de la función sigmoidea será cerca de cero, por lo que la velocidad de aprendizaje será muy lenta, porque cuando implementa el descenso de gradiente y el gradiente es cercano a cero, los parámetros se actualizarán muy lentamente, por lo que la velocidad de aprendizaje también será muy lenta, y al cambiar esta cosa llamada función de activación, la red neuronal cambia Con esta función, una función llamada ReLU (unidad lineal rectificada), el gradiente de ReLU es cero para todos los valores negativos de la entrada, por lo que el gradiente no tenderá a disminuir gradualmente a cero. En cuanto al gradiente aquí, la pendiente de esta línea es cero en el lado izquierdo Solo con convertir la función Sigmod en una función ReLU , se puede hacer una función llamada gradiente de descenso ( gradient descent) .) se ejecuta más rápido, que es un ejemplo de una innovación algorítmica quizás relativamente simple. Pero fundamentalmente, el impacto de la innovación de algoritmos es en realidad la optimización de la computación, por lo que hay muchos ejemplos como este, cambiamos el algoritmo para que el código se ejecute más rápido, lo que también nos permite entrenar a mayor escala. Una red neuronal o un red multipuerto. Aunque tenemos grandes redes neuronales de todos los datos, otra razón por la que los cálculos rápidos son más importantes es que el proceso de entrenamiento de su red neuronal suele ser intuitivo y, a menudo, tiene una buena idea de la arquitectura de la red neuronal. Idea, por lo que intenta escribir código para realizar su idea, y luego le permite ejecutar un entorno de prueba para decirle qué tan buena es su red neuronal, consulte este resultado y vuelva a modificar algunos detalles en su red neuronal, y luego Usted siga repitiendo las operaciones anteriores. Cuando su red neuronal tarda mucho tiempo en entrenarse y tarda mucho tiempo en repetir este ciclo, aquí hay una gran diferencia. Construya una red neuronal más eficiente de acuerdo con su eficiencia de producción. Cuando pueda tener una idea, pruébela y vea cómo funciona. En 10 minutos, o quizás un día entero, si entrenas tu red neuronal durante un mes, lo que a veces pasa, vale la pena porque obtienes un resultado muy rápido. En 10 minutos o un día, debe probar más ideas, que muy probablemente harán que su red neuronal funcione mejor en su aplicación, cálculos más rápidos, realmente ayuda en términos de velocidad, que podrá obtener sus resultados experimentales mucho más rápido. Esto también ayuda a los experimentadores de redes neuronales y a los investigadores de proyectos relacionados a iterar más rápido en el trabajo de aprendizaje profundo y a mejorar sus ideas más rápido, todo lo cual hace que toda la comunidad de investigación de aprendizaje profundo sea más fácil.Tal prosperidad, incluida la increíble invención de nuevos algoritmos y el progreso continuo. , estos son los pioneros en hacer cosas, estas fuerzas hacen que el aprendizaje profundo siga creciendo.

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-I7st9vvu-1674011004905) (…/images/e26d18a882cfc48837118572dca51c56.png)]

La buena noticia es que estas fuerzas siguen funcionando con normalidad y de manera continua, lo que hace que el aprendizaje profundo sea cada vez mejor. La investigación muestra que nuestra sociedad todavía arroja más y más datos digitalizados, o utiliza algún hardware especial para realizar cálculos, como GPU y conexiones de red más rápidas a varios hardware. Estoy muy seguro de que podemos construir una red neuronal a gran escala, y la potencia informática mejorará aún más, y la comunidad de aprendizaje e investigación del algoritmo continuará produciendo innovaciones extraordinarias a la vanguardia del algoritmo. En base a esto, podemos responder de manera optimista y, al mismo tiempo, seguir siendo optimistas sobre el aprendizaje profundo, mejorará cada vez más en los próximos años.

1.5 Acerca de este curso

Estás casi al final de la primera semana del primer curso de esta especialización, así que primero, una descripción general rápida de lo que está reservado para la próxima semana:

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y subirla directamente (img-B6e33aEf-1674011004906) (…/images/4bb4483c80727af15108a2c4a200f378.png)]

Como se mencionó en el primer video, este programa tiene cinco cursos y actualmente se encuentra en el primer curso: red neuronal y aprendizaje profundo. En este curso se le enseñarán los fundamentos más importantes. Al final del primer curso, habrá aprendido cómo construir una red neuronal profunda y hacer que funcione.

Aquí hay algunos detalles sobre el primer curso, que tiene cuatro semanas de material de estudio:

Semana 1: Una introducción al aprendizaje profundo. También habrá diez preguntas de opción múltiple al final de cada semana para evaluar su comprensión del material;

La segunda semana: sobre el conocimiento de programación de la red neuronal, comprender la estructura de la red neuronal, mejorar gradualmente el algoritmo y pensar en cómo hacer que la red neuronal sea eficiente. Realice un entrenamiento de programación (proyecto pagado) a partir de la segunda semana e implemente el algoritmo usted mismo;

Semana 3: después de aprender el marco de la programación de redes neuronales, podrá escribir una red neuronal de capa oculta, por lo que debe aprender todos los conceptos clave necesarios para realizar el trabajo de las redes neuronales;

Semana 4: construye una red neuronal profunda.

Este video está llegando a su fin. Espero que después de este video, puedas ver las diez preguntas de opción múltiple en el sitio web del curso para verificar tu comprensión. No es necesario que repase los conocimientos previos. Algunos conocimientos que no No lo sé ahora, puedes seguir intentándolo. Hazlo bien para entender todos los conceptos.

1.6 Recursos del curso

Espero que disfrute este curso y, para ayudarlo, este curso enumerará algunos recursos del curso.

En primer lugar, si tiene alguna pregunta, o quiere discutir problemas con otros estudiantes, o quiere discutir cualquier problema con el personal docente, incluyéndome a mí, o quiere informar un error, el foro es el mejor lugar para ir, yo y otros. El profesorado realizará un seguimiento periódico del contenido del foro. El foro también es un buen lugar para obtener respuestas a las preguntas de sus compañeros de clase. Si desea responder las preguntas de sus compañeros de clase, puede ir al foro desde la página de inicio del curso:

[Falló la transferencia de imagen del enlace externo, el sitio de origen puede tener un mecanismo anti-leeching, se recomienda guardar la imagen y cargarla directamente (img-XxB0cqUg-1674011004906) (…/images/ef98dcd467a603cf9050b887a8dbf91b.png)]

Haga clic en la pestaña del foro para ingresar al foro.

El foro es el mejor lugar para hacer preguntas, pero por alguna razón es posible que desee contactarnos directamente, puede enviar correos electrónicos a esta dirección, haremos todo lo posible para leer cada correo electrónico y tratar de resolver problemas comunes. Debido al gran volumen de correos electrónicos, es posible que no sea posible responder rápidamente a todos los correos electrónicos. Además, algunas empresas intentarán proporcionar capacitación de aprendizaje profundo para sus empleados. Si desea ser responsable de sus empleados y contratar expertos para capacitar a cientos o más empleados en aprendizaje profundo, contáctenos por correo electrónico. Estamos en la etapa inicial de desarrollo académico universitario, si eres líder o administrador universitario y quieres abrir un curso de aprendizaje profundo en tu escuela, por favor contáctanos a través del correo de la universidad. Dirección de correo electrónico a continuación, ¡buena suerte!

Contáctenos: [email protected]

Empresas: [email protected]

Universidades: [email protected]