El surgimiento espontáneo de una especialización funcional similar al cerebro en redes neuronales

Representaciones distintas de rostros y objetos en CNN entrenadas individualmente mientras que una CNN de doble tarea funciona bien. (A) Se optimizaron tres redes con arquitectura VGG16 (izquierda), una en la categorización de identidad facial (Face CNN en rojo), una en la categorización de objetos (Objeto CNN en naranja) y una en ambas tareas simultáneamente (CNN de doble tarea en gris ). (B) Precisión de decodificación de identidades de rostros retenidos y categorías de objetos retenidos utilizando patrones de activación extraídos de la penúltima capa [es decir, FC2 en (A)] de Face CNN y Object CNN. El Face CNN supera al Object CNN en la decodificación de rostros y viceversa en la decodificación de objetos. Por lo tanto, las representaciones optimizadas para cada tarea no se apoyan naturalmente entre sí. La línea gris discontinua indica el nivel de probabilidad (1%). Las barras de error indican SEM en los pliegues de clasificación. (C) Una CNN de doble tarea optimizada en ambas tareas realizadas y las redes separadas (% de precisión superior 1 en el conjunto de prueba). Las barras de error denotan un intervalo de confianza (IC) del 95 % reforzado entre clases y estímulos. Crédito: Avances científicos (2022). DOI: 10.1126/sciadv.abl8913

El cerebro humano tiene regiones funcionales distintas y altamente especializadas para comprender idiomas, reconocer rostros y planificar con anticipación. Sin embargo, los neurocientíficos aún deben descifrar el alto grado de especialización funcional observado en la corteza. En un nuevo estudio publicado ahora en Science Advances, Katharina Dobs y un equipo de científicos del departamento de ciencias cerebrales y cognitivas del MIT y el Zuckerman Mind Brain and Behavior Institute de la Universidad de Columbia, Nueva York, EE. UU., investigaron la percepción facial con dispositivos neuronales artificiales. redes para probar la hipótesis de que la segregación funcional del reconocimiento facial en el cerebro reflejaba la optimización computacional para aplicaciones más amplias del reconocimiento facial visual. El equipo mostró cómo la segregación visual funcional reveló una tendencia generalizada a la optimización para crear una especialización funcional en las máquinas y también investigó más a fondo la complejidad del fenómeno en relación con los cerebros.

Especialización funcional

Si bien la idea de la localización funcional en el cerebro fue objeto de controversia durante siglos, ahora cuenta con evidencia abrumadora. Las regiones de la corteza pueden activarse selectivamente para una tarea perceptiva o cognitiva específica, que cuando se interrumpe puede producir un deterioro selectivo. Los neurocientíficos buscan cada vez más entender por qué el cerebro exhibe este nivel de especialización funcional. Las posibilidades incluyen un accidente de evolución para agregar fácilmente módulos y resolver nuevos problemas. Los investigadores también han destacado la modulación selectiva de los procesos mentales a través de la especialización funcional. Y una tercera posibilidad son las razones computacionales para completar tareas que no se pueden resolver con maquinaria comparativamente genérica. En este trabajo, Dobs et al. probó la tercera hipótesis para comprender uno de los casos mejor establecidos de especialización funcional en el cerebro en relación con el reconocimiento visual de rostros. El equipo empleó redes neuronales convolucionales profundas (CNN) avanzadas para lograr un rendimiento a nivel humano en algunas tareas de reconocimiento visual. Sobre la base de extensos estudios con redes entrenadas por objetos y caras sobre el reconocimiento de rostros y objetos, Dobs et al. reveló una tendencia general a la segregación de tareas en redes, abriendo la puerta a investigar arquitecturas específicas, y dietas de entrenamiento para detectar las tareas que serán segregadas en redes, e hipotéticamente también en cerebros.

Experimentos de lesión en los últimos La capa convolucional revela la segregación espontánea de tareas. (A) Esquema de los experimentos de lesión para la última capa convolucional (ver Conv13 en la Fig. 1A) en VGG16. Se eliminó cada filtro de la capa mientras se medían las pérdidas en lotes de imágenes de caras (arriba) y objetos (abajo). Los filtros se ordenaron por rango según sus pérdidas correspondientes para determinar aquellos que más contribuyen al reconocimiento de rostros (rojo) u objetos (naranja). (B) Rendimiento normalizado de las tareas de cara y objeto después de lesionar el 20% de los filtros de rango más alto para la tarea de cara (arriba) y la tarea de objeto (abajo) en la última capa convolucional. Las barras de error denotan IC del 95 % arrancados entre clases y estímulos. Crédito: Avances científicos (2022). DOI: 10.1126/sciadv.abl8913 Las redes entrenadas solo en objetos no funcionan bien en el reconocimiento facial

Para probar si las CNN entrenadas en objetos sirven el reconocimiento facial y viceversa, Dobs et al. entrenó dos redes VGG16 inicializadas aleatoriamente, como propusieron inicialmente A. Zisserman y K. Simoyan de la Universidad de Oxford, para la identificación de rostros y la categorización de objetos. El equipo decodificó identidades de rostros desconocidos de redes entrenadas por rostros y objetos desconocidos de la red entrenada por objetos, como se esperaba. Notaron un rendimiento significativamente peor en el reconocimiento de rostros con la red entrenada por objetos que con la red entrenada por rostros, y viceversa para el reconocimiento de objetos, lo que indica cómo las representaciones aprendidas para una tarea específica no se traducen fácilmente a otra tarea. Al igual que el cerebro, cada tarea parecía beneficiarse de representaciones especializadas específicas de tareas.

Segregación espontánea de tareas de rostros y objetos en etapas de procesamiento de nivel medio. (A) Segregación de tareas, medida como índice combinado de las diferencias en las caídas proporcionales en el rendimiento en la tarea de cara y objeto, cuando el 20% de los filtros de mayor contribución se eliminan en cada capa convolucional. La segregación de tareas aumentó después de las primeras capas convolucionales hasta un índice máximo de 0,75. El área sombreada representa los IC del 95 % reforzados entre clases y estímulos. (B) Imágenes optimizadas para generar respuestas en tres filtros de ejemplo entre los 10 mejores filtros seleccionados para la tarea de la cara (izquierda) y el objeto (derecha) en las capas convolucionales 5, 9 y 13 (filas). El tamaño de los campos receptivos aumenta y las características se vuelven más específicas para las tareas en las capas posteriores. Crédito: Avances científicos (2022). DOI: 10.1126/sciadv.abl8913

Formación de una red de formación dual

Para eludir las limitaciones, Dobs et al. se preguntó si entrenar una sola red para realizar ambas tareas llevaría a descubrir un espacio común de características de alto rendimiento para caras y objetos. Para abordar esto, entrenaron una nueva red tanto en identidad facial como en categorización de objetos. La red de tareas duales se desempeñó inesperadamente casi tan bien en cada tarea, lo que indica un espacio de características común para que las redes resuelvan ambas tareas, lo que argumenta en contra de la hipótesis de especialización funcional para un alto rendimiento de tareas. Otra posibilidad era que la red aprendiera a segregarse en el reconocimiento de rostros y objetos, aunque el equipo no incorporó nada en la arquitectura de la red para facilitar esto. Para probar esta posibilidad, realizaron una serie de experimentos y los resultados indicaron una segregación espontánea de la red en distintos subsistemas para el reconocimiento de rostros y objetos, a pesar de la falta de un sesgo inductivo específico de la tarea para fomentar el resultado.

La CNN con entrenamiento dual está más correlacionada con el comportamiento. Correlaciones entre RDM de comportamiento para estímulos de cara (izquierda, n = 14) u objeto (derecha, n = 15) y RDM específicos de capa obtenidos de patrones de activación en Face CNN (rojo), Object CNN (en amarillo) y la CNN de doble tarea (en gris) a los estímulos correspondientes. Las áreas sombreadas con colores indican SEM de arranque entre los participantes. Las barras horizontales sombreadas en gris indican el techo de ruido estimado en función de la variabilidad entre los participantes. Crédito: Avances científicos (2022). DOI: 10.1126/sciadv.abl8913

Mayor segregación de tareas en capas como el cerebro

Dobs et al. a continuación, determinó si la segregación de tareas se acumulaba en las capas de la red. En el cerebro de los primates, las categorías habituales se procesan para compartir un conjunto inicial de características comunes, durante las primeras etapas de procesamiento (retina, etc.), seguido de la ramificación en vías específicas de categoría (cara, cuerpo, etc.). El equipo buscó comprender tales similitudes con las CNN (redes neuronales convolucionales) de entrenamiento dual y descubrió que la segregación de tareas era pequeña en las primeras capas, mientras que aumentaba con las capas posteriores. Según los resultados, el procesamiento de rostros y objetos divergió gradualmente en las etapas intermedias del procesamiento dentro de la red para volverse altamente segregado en las últimas etapas, al igual que las características observadas en el cerebro de los primates. Estudios posteriores de las características destacaron la jerarquía de procesamiento. Los resultados mostraron que el alto grado observado de segregación funcional no surgió de los sesgos del conjunto de datos, sino que fue impulsado por distintas características visuales de nivel medio a alto por tarea.

Segregación espontánea en diversos grados para el reconocimiento de alimentos o automóviles. (A) Además del modelo de tarea dual para tareas de cara y objeto (rojo), entrenamos un modelo de tarea dual en comida (verde) y categorización de objetos y otro en automóvil (azul) y categorización de objetos. (B) La segregación de tareas se midió lesionando los filtros más contribuyentes para rostros, alimentos y automóviles (respectivamente) y objetos en cada capa convolucional. La segregación de tareas se encontró para todas las tareas en diversos grados. La segregación de tareas para automóviles y objetos aumentó más tarde, en menor grado, que para alimentos o rostros y objetos. Las áreas sombreadas con colores indican IC del 95 % que se arrancan entre clases y estímulos. Crédito: Avances científicos (2022). DOI: 10.1126/sciadv.abl8913 Redes segregadas funcionalmente y segregación funcional variable

El trabajo reflejó la especialización funcional en el sistema visual humano, aunque no estaba claro si las especies de características aprendidas podrían funcionar de manera similar al sistema visual humano. . Para examinar esto, Dobs et al. realizó dos experimentos de comportamiento para medir la similitud percibida de los estímulos faciales y de objetos. Para cada tarea, el equipo correlacionó las matrices de disimilitud de la representación del comportamiento de cada participante para cada capa de redes neuronales complicadas entrenadas en cara, entrenadas en objetos y entrenadas en tareas duales. La red de tareas duales capturó el comportamiento humano tanto en la cara como en las tareas para mostrar cómo las soluciones aprendidas realizaron tareas similares al sistema visual humano y exploró esta configuración para otras categorías visuales. El resultado indicó que, si bien la segregación funcional que se encuentra en el cerebro también se puede encontrar en redes neuronales intrincadas, los cerebros no se asemejan por completo a los matices de las redes neuronales.

Outlook

De esta manera, Katharina Dobs y sus colegas examinaron exhaustivamente la especialización funcional de la organización cerebral para probar la hipótesis de que la especialización en el cerebro puede resultar de la optimización de múltiples tareas naturales. Predijeron que sistemas computacionales muy diferentes pueden llegar a una solución similar y probaron la hipótesis en redes neuronales complicadas (CNN) para comprender uno de los casos mejor establecidos de especialización funcional en el reconocimiento de rostros cerebrales. Los resultados destacaron de manera interesante por qué el cerebro está organizado de la forma en que lo está. Los resultados indican que la segregación funcional es una consecuencia natural de la resolución de múltiples tareas. Los métodos desarrollados en este trabajo permitirán a los científicos probar estas hipótesis y otras ideas.

Explore más

Los neurocientíficos utilizan un modelo de aprendizaje profundo para simular la topografía del cerebro Más información: Katharina Dobs, Julio Martinez Alexander, JE Kell y Nancy Kanwisher, La especialización funcional similar al cerebro surge espontáneamente en profundidad redes neuronales, Science Advances (2022). DOI: 10.1126/sciadv.abl8913

Guangyu Robert Yang et al, Representaciones de tareas en redes neuronales entrenadas para realizar muchas tareas cognitivas, Nature Neuroscience (2019). DOI: 10.1038/s41593-018-0310-2 Información de la revista: Science Advances , Nature Neuroscience