Lo que las redes neuronales de los videojuegos demuestran sobre el cerebro humano
Comparación de un ser humano jugando Pong (jugador verde, izquierda) con una red neuronal jugando (jugador verde, derecha). La red neuronal tuvo tres días de entrenamiento continuo para lograr la competencia. Crédito: Laboratorio O’Doherty
Cuando conduce un automóvil, su cerebro recibe una enorme cantidad de información visual y la usa para tomar decisiones de conducción, como cuándo frenar o cambiar de carril. El cerebro necesita determinar qué tipo de información en su campo de visión es necesaria para tomar estas decisiones. Por ejemplo, la posición de otro automóvil es muy importante, pero una nube en el cielo o el color de ese automóvil realmente no tienen un impacto en la forma en que conduce.
Este es un ejemplo cotidiano de toma de decisiones en un entorno natural complejo. ¿Qué hace el cerebro en situaciones en las que hay un gran volumen de datos sensoriales y la necesidad de tomar decisiones rápidamente? Para estudiar esta y otras preguntas relacionadas, los investigadores pueden experimentar utilizando simulaciones de nuestra vida cotidiana: los videojuegos.
Un nuevo estudio de Caltech compara los escáneres cerebrales de humanos que juegan videojuegos clásicos de Atari con sofisticadas redes de inteligencia artificial (IA). que han sido entrenados para jugar los mismos juegos. Dirigidos por el estudiante graduado Logan Cross, los investigadores compararon el comportamiento de la IA entrenada con la de los humanos y descubrieron que la actividad en las «neuronas» artificiales en la IA se parecía bastante a la actividad en el cerebro humano. Esto implica que el agente de IA puede resolver estas tareas de toma de decisiones de manera similar al cerebro humano, lo que lo convierte en un buen modelo para estudiar cómo el cerebro humano mapea la entrada visual de alta dimensión en acciones en entornos complejos.
El El estudio se realizó en el laboratorio del profesor de Psicología John O’Doherty. Un artículo que describe la investigación apareció en la revista Neuron el 15 de diciembre. O’Doherty es miembro de la facultad afiliado al Instituto de Neurociencia Tianqiao y Chrissy Chen en Caltech.
«La interacción entre la IA y la neurociencia va tanto maneras», dice O’Doherty. «Si podemos descubrir qué tan similares son los algoritmos de IA al cerebro, esto nos ayuda a comprender mejor cómo el cerebro resuelve este tipo de problemas difíciles, pero a la inversa, si podemos entender por qué y cómo el cerebro puede resolver estos juegos de manera mucho más eficiente en comparación con una IA, esto puede ayudar a guiar el desarrollo de algoritmos de IA más inteligentes y más humanos en el futuro».
En el campo de la neurociencia de decisiones, que examina la forma en que la actividad neuronal en el cerebro da lugar a la toma de decisiones , muchos estudios usan tareas simples para examinar cómo los humanos toman decisiones. Por ejemplo, se le puede pedir a un participante del estudio que juegue en dos máquinas tragamonedas con pagos diferentes. En el transcurso del experimento, el participante aprenderá qué máquina tragamonedas gana más dinero y ajustará su comportamiento en consecuencia. El marco de aprendizaje general para resolver estas tareas se denomina aprendizaje por refuerzo porque el comportamiento se refuerza con los resultados gratificantes que resultan de las decisiones.
Sin embargo, el marco de aprendizaje por refuerzo por sí solo no describe adecuadamente la toma de decisiones en términos más amplios y complejos. tareas más complicadas. En 2015, DeepMind, una empresa de inteligencia artificial propiedad de Google, desarrolló un complejo algoritmo de inteligencia artificial, llamado Deep Q Network (DQN), que podía aprender a jugar docenas de videojuegos de Atari a niveles humanos o sobrehumanos.
El DQN combina el marco clásico de aprendizaje por refuerzo con otro avance reciente llamado red neuronal convolucional. La red neuronal convolucional actúa como un sistema de percepción que aprende a detectar características visuales en el espacio de píxeles de Atari (la pantalla del juego) que predicen la recompensa (puntuación de puntos). Esto permite que DQN aprenda qué acciones tomar en una situación determinada con solo mirar los píxeles en el juego. Es importante destacar que las reglas del juego no están programadas en el agente DQN; debe aprender por sí mismo cómo se juega el juego a través de prueba y error, ya que las buenas decisiones se refuerzan positivamente cuando el agente anota puntos (junto con las acciones que conducen a la puntuación).
En este estudio, el DQN se entrenó en los videojuegos de Atari Pong, Space Invaders y Enduro (un juego de carreras), y luego sus neuronas artificiales se usaron para predecir el comportamiento y la actividad cerebral a partir de escáneres cerebrales de imágenes de resonancia magnética funcional de participantes humanos mientras jugaban los juegos. En particular, los investigadores encontraron que la actividad cerebral en dos regiones del cerebro involucradas en la percepción y la visión, la vía visual dorsal y la corteza parietal posterior, podrían modelarse usando características de DQN.
En todos los juegos, el DQN debe aprender a seleccionar las características relevantes de un gran volumen de información visual tal como lo haría un ser humano. Debe formatear esta información relevante en lo que se llama un espacio de estado, que es una forma compacta de representar lo que está sucediendo en el estado actual del juego. Por ejemplo, en Pong, los investigadores encontraron que el espacio de estado en los códigos DQN para las posiciones espaciales de la pelota y las paletas; ignora características como los colores del fondo y la puntuación del juego en la parte superior de la pantalla. Esto es muy similar a cómo el cerebro humano representa el juego en la vía visual dorsal, la parte del cerebro que reconoce dónde están los objetos en el espacio para guiar las acciones relacionadas con esos objetos.
En el juego Enduro, el jugador conduce un automóvil lo más rápido posible y trata de evitar otros automóviles. Durante el viaje, el cielo cambia de color del día a la noche. Es fácil para una persona que juega ignorar estos parámetros, ya que son irrelevantes para el juego real, de la misma manera que aprendemos a ignorar las nubes en el cielo cuando conducimos un automóvil. Pero una red de IA debe aprender que el cambio de color del cielo no tiene impacto en la conducción.
Los investigadores descubrieron que las características dentro del DQN que ignoran estas características visuales irrelevantes explican mejor los patrones de actividad cerebral que se ven en el La corteza parietal posterior de los voluntarios que juegan juegos, la parte del cerebro que conecta la percepción con el movimiento motor. También se encontraron resultados similares en Space Invaders.
Si bien los investigadores encontraron similitudes entre el DQN y el cerebro humano, los dos no son idénticos.
«Toma días de jugar sin parar para que DQN aprenda a jugar estos juegos, pero los humanos pueden aprender en minutos», dice Cross. «¿Por qué es fácil para el cerebro humano descubrir cuáles son las características relevantes cuando conduce un automóvil, pero difícil para una inteligencia artificial? Responder a esta pregunta es un gran desafío para los investigadores de IA. Es difícil para la IA porque a medida que cambian los colores de fondo, su entrada visual cambia dramáticamente ya que solo ‘ve’ números en el espacio de píxeles Se necesita mucho entrenamiento para que DQN aprenda que dos situaciones que son dramáticamente diferentes en el espacio de píxeles en realidad son conceptualmente similares en términos de lo que debe hacer. «
Por otro lado, agrega Cross, el cerebro humano se forma a lo largo de su desarrollo para aprender a seleccionar la información más importante para las tareas diarias comunes. «La vía visual dorsal en particular, que es nuestra principal región de interés, es capaz de localizar rápidamente objetos independientemente de sus colores», dice. «Además, el cerebro de alguna manera codifica nociones de física de sentido común y cómo se mueven los objetos normalmente, lo que permite a los humanos realizar una amplia variedad de tareas bien con poca capacitación. DQN tiene que aprender todo esto desde cero».
En los últimos años, otras investigaciones han descubierto similitudes entre el cerebro y las redes neuronales profundas, pero la mayoría de estos estudios se han centrado en el reconocimiento de objetos en lugar de la toma de decisiones activa. Este estudio presenta un nuevo marco para estudiar el comportamiento y la actividad cerebral en tareas complejas de toma de decisiones que pueden ser más representativas de la vida diaria que las tareas que se usaban anteriormente en el campo.
El artículo se titula «Uso del refuerzo profundo aprendiendo a revelar cómo el cerebro codifica representaciones abstractas de espacio de estado en entornos de alta dimensión».
Explore más
Las redes neuronales convolucionales pueden ser engañadas por las mismas ilusiones visuales que las personas Más información: Logan Cross et al. Usando el aprendizaje de refuerzo profundo para revelar cómo el cerebro codifica representaciones abstractas de espacio de estado en entornos de alta dimensión, Neuron (2020). DOI: 10.1016/j.neuron.2020.11.021 Información del diario: Neuron
Proporcionado por el Instituto de Tecnología de California Cita: Lo que las redes neuronales que juegan videojuegos demuestran sobre la cerebro humano (2021, 8 de enero) recuperado el 30 de agosto de 2022 de https://medicalxpress.com/news/2021-01-neural-networks-video-games-human.html Este documento está sujeto a derechos de autor. Aparte de cualquier trato justo con fines de estudio o investigación privados, ninguna parte puede reproducirse sin el permiso por escrito. El contenido se proporciona únicamente con fines informativos.