Contenido de un vistazo : La dopamina es un neurotransmisor importante en el sistema nervioso, que está estrechamente relacionado con el movimiento, la memoria y el sistema de búsqueda. Sin embargo, el análisis cuantitativo preciso de la dopamina sigue siendo difícil de alcanzar. Con la ayuda del aprendizaje automático, el grupo de investigación de Markita P. Landry en la Universidad de California, Berkeley (UCB) realizó un análisis cuantitativo de la cantidad de liberación y la ubicación de la dopamina, acercándonos un paso más al código de la felicidad.
Palabras clave : dopamina de aprendizaje por refuerzo de aprendizaje automático
Autor｜Xuecai
Editor｜Sanyang
Este artículo se publicó por primera vez en la plataforma pública HyperAI Super Neural WeChat.
A menudo nos hacen la pregunta "¿Eres feliz?". Después de revisar nuestras condiciones de vida recientes, es posible que podamos dar una respuesta relativamente satisfactoria. Sin embargo, responder otra pregunta sobre la felicidad, qué tan feliz eres, no es tan fácil.
Podemos hacer un juicio relativamente preciso de la felicidad, pero es difícil realizar un análisis cuantitativo de la felicidad, y solo podemos usar algunos adverbios de grado para hacer una evaluación aproximada.
Pero desde un punto de vista fisiológico, el grado de felicidad puede juzgarse por el nivel de hormonas en el cuerpo humano, y una de las hormonas importantes es la dopamina .
Figura 1: Las cuatro hormonas del placer de izquierda a derecha son dopamina, endorfinas, oxitocina y serotonina
La dopamina es un neurotransmisor importante en el sistema nervioso, responsable de transmitir mensajes entre las células . La dopamina es el mensajero del placer, cuando vemos algo placentero, el cerebro libera dopamina, incitándonos a buscarlo. Por lo tanto, un circuito neuronal controlado por neuronas dopaminérgicas también se denomina circuito de recompensa, que está estrechamente relacionado con el aprendizaje, la memoria y el comportamiento adictivo.
Aunque las personas tienen una comprensión relativamente clara de la estructura química, el área de distribución y los efectos fisiológicos de la dopamina, el mecanismo de acción de la dopamina a nivel celular y molecular aún no se comprende bien, y mucho menos el papel de la dopamina en los circuitos neuronales. análisis cuantitativo preciso .
Felicidad "cuantificada": la IA descifra el código de la dopamina
En 1997, Schultz y otros propusieron un posible mecanismo operativo del circuito de recompensa: la hipótesis del error de predicción de recompensa . Esta hipótesis sostiene que las neuronas dopaminérgicas ajustarán la liberación de dopamina según el error entre la recompensa esperada y la recompensa real, y luego ajustarán la motivación de las personas para perseguir algo.
En 2020, DeepMind descubrió en el cerebro que distintas neuronas tienen distintas expectativas de recompensa ante un mismo estímulo . En otras palabras, hay neuronas relativamente optimistas y neuronas pesimistas en el cerebro. Ante el mismo medio vaso de agua, las neuronas optimistas pensarán que con medio vaso nos queda un futuro brillante. Las neuronas pesimistas pensarán que sólo queda medio vaso de agua y que nos vamos a morir de sed. Además, estudios posteriores han demostrado que la distribución de las recompensas esperadas de las neuronas es básicamente consistente con la distribución de las recompensas reales.
Figura 2: Recompensa esperada (azul) y recompensa real (gris) para una neurona
Con la ayuda de la IA, se está acelerando la comprensión del mecanismo neural del circuito de recompensa .
En 2021, el grupo de investigación de Erin S. Calipar en la Universidad de Vanderbilt (Vandy) en los Estados Unidos monitoreó los cambios en el contenido de dopamina en los organismos y utilizó máquinas de vectores de soporte (SVM) para predecir el comportamiento de los organismos. resultados experimentales, el equipo de investigación Se propone un nuevo modelo para la regulación de la actividad fisiológica por la dopamina.
Recientemente, se ha mejorado la interpretación de la dopamina por parte de la IA. Con la ayuda del aprendizaje automático, el grupo de investigación de Markita P. Landry en la Universidad de California, Berkeley (UCB), llevó a cabo un análisis cuantitativo de la liberación de dopamina y la liberación de regiones cerebrales, proporcionando nuevas ideas para el estudio de neuroimágenes y neural. circuitos _
Se ha publicado una investigación relacionada en "ACS Chemical Neuroscience", titulada "Identificación de firmas neuronales de señalización de dopamina con aprendizaje automático".
Figura 3: Los resultados de la investigación han sido publicados en "ACS Chemical Neuroscience"
Dirección en papel: https://pubs.acs.org/doi/full/10.1021/acschemneuro.3c00001
Este estudio abordó principalmente dos cuestiones:
1. Distinguir la cantidad de dopamina liberada bajo diferentes estímulos (estimulación actual de 0,1 mA y 0,3 mA);
2. Determinar la liberación de dopamina en el área cerebral (DLS de dorsolateral striatum y DMS de dorsomedial striatum).
Primero, etiquetaron la dopamina con nanosensores de catecolaminas de infrarrojo cercano (nIRCat, nanosensores de catecolaminas de infrarrojo cercano). Después del etiquetado, bajo un microscopio infrarrojo, la dopamina emitirá fluorescencia y la intensidad de la fluorescencia se correlaciona positivamente con la concentración de dopamina . Cuando se aplica estimulación eléctrica al cerebro, se libera dopamina y luego se recicla. Este proceso dejará una curva de intensidad de fluorescencia bajo el microscopio infrarrojo.Al cuantificar la curva de fluorescencia, se pueden obtener 8 características estadísticas, como la intensidad de fluorescencia promedio, el número de sitios de liberación de dopamina (ROI, regiones de interés), etc. y 2 Una característica temporal, incluida la duración de la intensidad de fluorescencia por encima y por debajo de 2 desviaciones estándar. Estos valores de características se pueden utilizar en el entrenamiento de modelos de aprendizaje automático.
Figura 4: resultados del etiquetado nIRCat para dopamina
A : resultados de fluorescencia observados antes y después de la estimulación actual
B : Curvas de intensidad de fluorescencia antes y después de la estimulación actual
Los investigadores entrenaron y analizaron dos modelos, una máquina de vectores de soporte (SVM) y un modelo de bosque aleatorio (RF), respectivamente .
El modelo SVM puede clasificar los resultados en dos categorías en función de características no lineales complejas y aplicar las condiciones de contorno entrenadas a los datos de prueba. El modelo de RF consta de múltiples árboles de decisión, y las decisiones tomadas por cada árbol de decisión finalmente se cotejan para obtener el resultado final.
El modelo de RF puede interpretar completamente las variables en los resultados para garantizar predicciones precisas.Al seleccionar aleatoriamente datos y características, se reduce la sensibilidad del modelo de árbol de decisión a los datos de entrenamiento originales y se mejora la diferencia entre los árboles de decisión.
La cantidad de datos de entrenamiento requeridos por los dos modelos es pequeña y los resultados se pueden dividir en dos categorías, lo que coincide con el propósito de este estudio.
Figura 5: Flujo de trabajo para el aprendizaje automático
Conjunto de datos A y Conjunto de datos B : representan respectivamente la concentración de liberación de dopamina de diferentes estímulos actuales o diferentes regiones del cerebro
Una vez que se completa el entrenamiento de los dos modelos, la curva de intensidad de fluorescencia obtenida bajo diferentes estímulos actuales se utiliza como entrada, y el modelo puede juzgar la intensidad de la estimulación recibida y el área del cerebro liberada por la dopamina.
Figura 6: Resultados de la evaluación del aprendizaje automático para diferentes intensidades de estímulo
Figura A : Resultados de juicio para ratones de 4 semanas de edad
Figura B : Resultados del juicio para ratones de 8,5 semanas de edad
Figura C : Resultados del juicio para ratones de 12 semanas de edad
Se puede ver a partir de los resultados que a medida que aumenta la edad de los ratones, la precisión de los dos modelos para juzgar la intensidad del estímulo aumenta continuamente . Esto se debe principalmente a que, a medida que aumenta la edad de los ratones, los niveles de hormonas en el cuerpo se estabilizan gradualmente y son fáciles de predecir. En ratones de 12 semanas, la tasa de precisión del modelo RF para juzgar la intensidad del estímulo puede llegar a 0,832.
Figura 7: bajo una estimulación de corriente de 0,3 mA, la precisión del aprendizaje automático en las regiones del cerebro que liberan dopamina (izquierda) y la importancia de las diferentes características en la precisión del juicio (derecha)
A&B : Resultados del juicio para ratones de 4 semanas de edad
C&D : resultados del juicio para ratones de 8,5 semanas de edad
E&F : Resultados del juicio para ratones de 12 semanas de edad
En la figura se puede ver que, de manera similar a los resultados de la intensidad del estímulo, el aprendizaje automático tiene la tasa de precisión de juicio más alta en ratones de 12 semanas, hasta 0,708. Al mismo tiempo, diferentes características de entrada también afectarán la precisión de juicio del modelo. Entre los diferentes parámetros característicos, el ROI es el más importante para la precisión del juicio del modelo .
A través del aprendizaje automático, los investigadores rompieron los grilletes del análisis de datos tradicional, seleccionaron una gran cantidad de variables características y mejoraron la precisión del juicio del modelo a través del ROI característico ignorado por el análisis de datos tradicional. Además, este modelo también se puede extender a circuitos neuronales distintos de la dopamina, lo que aporta nuevas ideas para el estudio de la neuroimagen y los mecanismos neuronales .
Dopamina: la espada de doble filo del placer y la pérdida
La dopamina nos trae sentimientos placenteros y nos impulsa a buscar cosas placenteras. Ya sea comida deliciosa, hermosos paisajes, ejercicio adecuado o interacción social activa, ayuda a la liberación de dopamina, lo que nos ayuda a mantener un buen estado de ánimo . Debido a esto, la dopamina también se puede utilizar como herramienta de marketing para los comerciantes. Desde el exquisitamente empaquetado "Dopamine Catering" hasta el "Dopamine Outfit" que arrasa en las redes sociales, los colores brillantes no solo embellecen la vida de las personas, sino que también mejoran su estado de ánimo.
Figura 8: El traje de dopamina del maestro UP "Kangkang and Grandpa"
Sin embargo, después de ser feliz, el nivel de dopamina en el cuerpo caerá temporalmente por debajo del nivel normal, lo que traerá depresión . Después de la secreción frecuente y prolongada de dopamina, la percepción de la felicidad del cuerpo humano se volverá opaca, lo que dificultará que las personas aprecien la belleza de la vida y sea más fácil perderse. Por lo tanto, algunas personas también presentan el concepto de "abstinencia de dopamina". Al ajustar el trabajo y el descanso, controlar el tiempo de entretenimiento, mantenerse alejado de las redes sociales, etc., se puede controlar la liberación de dopamina en el cuerpo para volver a vivir y experimentar la verdadera felicidad.
Ya sea que se trate de "vendaje de dopamina" o "retirada de dopamina", todos buscan la belleza de la vida y se hacen felices. Aunque las dos teorías tienen cierta base fisiológica, queda por estudiar el efecto real . Con la ayuda de la IA, los investigadores también investigan constantemente el mecanismo detrás de la actividad neuronal y exploran los misterios de la dopamina. Creo que algún día, cuando se les pregunte "qué tan feliz estás", la gente podrá responder sin dudarlo, 100%.
Este artículo se publicó por primera vez en la plataforma pública HyperAI Super Neural WeChat .
Artículo de referencia:
[1]https://www.nature.com/articles/s41586-019-1924-6#información-adicional
[2]https://www.sciencedirect.com/science/article/pii/S096098222101188X
[3]https://www.science.org/doi/10.1126/science.275.5306.1593
[4]https://prezi.com/gxadjg6gz7li/nicotine-and-the-brain-reward-system/
[5]https://youtu.be/v6VJ2RO66Ag