Cr\u00e9dito: CC0 Public Domain <\/p>\n
En los \u00faltimos a\u00f1os, los modelos de lenguaje de inteligencia artificial se han vuelto muy buenos en ciertas tareas. En particular, sobresalen en la predicci\u00f3n de la siguiente palabra en una cadena de texto; esta tecnolog\u00eda ayuda a los motores de b\u00fasqueda y las aplicaciones de mensajes de texto a predecir la pr\u00f3xima palabra que escribir\u00e1. <\/p>\n
La generaci\u00f3n m\u00e1s reciente de modelos de lenguaje predictivo tambi\u00e9n parece aprender algo sobre el significado subyacente del lenguaje. Estos modelos no solo pueden predecir la palabra que viene a continuaci\u00f3n, sino tambi\u00e9n realizar tareas que parecen requerir cierto grado de comprensi\u00f3n genuina, como responder preguntas, resumir documentos y completar historias. <\/p>\n
Dichos modelos se dise\u00f1aron para optimizar el rendimiento de la funci\u00f3n espec\u00edfica de predecir texto, sin intentar imitar nada sobre c\u00f3mo el cerebro humano realiza esta tarea o entiende el lenguaje. Pero un nuevo estudio de neurocient\u00edficos del MIT sugiere que la funci\u00f3n subyacente de estos modelos se asemeja a la funci\u00f3n de los centros de procesamiento del lenguaje en el cerebro humano.<\/p>\n
Los modelos inform\u00e1ticos que funcionan bien en otros tipos de tareas del lenguaje no muestran esta similitud. al cerebro humano, ofreciendo evidencia de que el cerebro humano puede usar la predicci\u00f3n de la siguiente palabra para impulsar el procesamiento del lenguaje.<\/p>\n
\u00abCuanto mejor es el modelo para predecir la siguiente palabra, m\u00e1s se ajusta al cerebro humano, \u00ab, dice Nancy Kanwisher, profesora de neurociencia cognitiva Walter A. Rosenblith, miembro del Instituto McGovern para la investigaci\u00f3n del cerebro y del Centro para cerebros, mentes y m\u00e1quinas (CBMM) del MIT, y autora del nuevo estudio. \u00abEs sorprendente que los modelos se ajusten tan bien, y sugiere muy indirectamente que tal vez lo que hace el sistema de lenguaje humano es predecir lo que suceder\u00e1 a continuaci\u00f3n\u00bb.<\/p>\n
Joshua Tenenbaum, profesor de ciencia cognitiva computacional en MIT y miembro del CBMM y del Laboratorio de Inteligencia Artificial del MIT (CSAIL); y Evelina Fedorenko, profesora asociada de neurociencia Frederick A. and Carole J. Middleton Career Development y miembro del Instituto McGovern, son los autores principales del estudio, que aparece esta semana en las Actas de la Academia Nacional de Ciencias. Martin Schrimpf, un estudiante graduado del MIT que trabaja en CBMM, es el primer autor del art\u00edculo.<\/p>\n
Hacer predicciones<\/p>\n
Los nuevos modelos de predicci\u00f3n de la siguiente palabra de alto rendimiento pertenecen a un clase de modelos llamados redes neuronales profundas. Estas redes contienen \u00abnodos\u00bb computacionales que forman conexiones de fuerza variable y capas que pasan informaci\u00f3n entre s\u00ed de maneras prescritas.<\/p>\n
Durante la \u00faltima d\u00e9cada, los cient\u00edficos han utilizado redes neuronales profundas para crear modelos de visi\u00f3n que puede reconocer objetos tan bien como lo hace el cerebro de los primates. La investigaci\u00f3n en el MIT tambi\u00e9n ha demostrado que la funci\u00f3n subyacente de los modelos de reconocimiento de objetos visuales coincide con la organizaci\u00f3n de la corteza visual de los primates, aunque esos modelos inform\u00e1ticos no fueron dise\u00f1ados espec\u00edficamente para imitar el cerebro.<\/p>\n
En el nuevo estudio, el equipo del MIT utiliz\u00f3 un enfoque similar para comparar los centros de procesamiento del lenguaje en el cerebro humano con los modelos de procesamiento del lenguaje. Los investigadores analizaron 43 modelos de lenguaje diferentes, incluidos varios que est\u00e1n optimizados para la predicci\u00f3n de la siguiente palabra. Estos incluyen un modelo llamado GPT-3 (Generative Pre-trained Transformer 3), que, si se le solicita, puede generar un texto similar al que producir\u00eda un ser humano. Se dise\u00f1aron otros modelos para realizar diferentes tareas de lenguaje, como llenar un espacio en blanco en una oraci\u00f3n.<\/p>\n
Como a cada modelo se le present\u00f3 una cadena de palabras, los investigadores midieron la actividad de los nodos que forman el la red. Luego compararon estos patrones con la actividad en el cerebro humano, medidos en sujetos que realizan tres tareas de lenguaje: escuchar historias, leer oraciones de una en una y leer oraciones en las que se revela una palabra a la vez. Estos conjuntos de datos humanos inclu\u00edan datos de resonancia magn\u00e9tica funcional (fMRI) y mediciones electrocorticogr\u00e1ficas intracraneales tomadas en personas sometidas a cirug\u00eda cerebral por epilepsia.<\/p>\n
Descubrieron que los modelos de predicci\u00f3n de la siguiente palabra con mejor rendimiento ten\u00edan patrones de actividad que se parec\u00edan mucho a los vistos en el cerebro humano. La actividad en esos mismos modelos tambi\u00e9n se correlacion\u00f3 altamente con medidas de comportamiento humano, como la rapidez con la que las personas pod\u00edan leer el texto.<\/p>\n
\u00abDescubrimos que los modelos que predicen bien las respuestas neuronales tambi\u00e9n tienden a ser mejores predecir las respuestas del comportamiento humano, en forma de tiempos de lectura. Y luego ambos se explican por el rendimiento del modelo en la predicci\u00f3n de la siguiente palabra. Este tri\u00e1ngulo realmente conecta todo\u00bb, dice Schrimpf.<\/p>\n
Cambio de juego<\/p>\n
Una de las caracter\u00edsticas computacionales clave de los modelos predictivos como GPT-3 es un elemento conocido como transformador predictivo unidireccional directo. Este tipo de transformador es capaz de hacer predicciones de lo que vendr\u00e1 despu\u00e9s, bas\u00e1ndose en secuencias anteriores. Una caracter\u00edstica importante de este transformador es que puede hacer predicciones basadas en un contexto anterior muy largo (cientos de palabras), no solo en las \u00faltimas palabras.<\/p>\n
Los cient\u00edficos no han encontrado ning\u00fan circuito cerebral o mecanismo de aprendizaje que corresponden a este tipo de procesamiento, dice Tenenbaum. Sin embargo, los nuevos hallazgos son consistentes con las hip\u00f3tesis que se han propuesto previamente de que la predicci\u00f3n es una de las funciones clave en el procesamiento del lenguaje, dice.<\/p>\n
\u00abUno de los desaf\u00edos del procesamiento del lenguaje es el aspecto en tiempo real de eso\u00bb, dice. \u00abEl lenguaje entra, y tienes que mantenerte al d\u00eda y ser capaz de encontrarle sentido en tiempo real\u00bb.<\/p>\n
Los investigadores ahora planean construir variantes de estos modelos de procesamiento del lenguaje para ver c\u00f3mo los peque\u00f1os cambios en su arquitectura afectan su rendimiento y su capacidad para adaptarse a los datos neuronales humanos.<\/p>\n
\u00abPara m\u00ed, este resultado ha cambiado las reglas del juego\u00bb, dice Fedorenko. \u00abEst\u00e1 transformando por completo mi programa de investigaci\u00f3n, porque nunca hubiera predicho que en mi vida llegar\u00edamos a estos modelos computacionalmente expl\u00edcitos que capturan suficiente informaci\u00f3n sobre el cerebro para que podamos aprovecharlos para comprender c\u00f3mo funciona el cerebro\u00bb.<\/p>\n
Los investigadores tambi\u00e9n planean tratar de combinar estos modelos de lenguaje de alto rendimiento con algunos modelos inform\u00e1ticos que el laboratorio de Tenenbaum ha desarrollado previamente y que pueden realizar otros tipos de tareas, como construir representaciones perceptivas del mundo f\u00edsico.<\/p>\n
\u00abSi somos capaces de entender lo que hacen estos modelos de lenguaje y c\u00f3mo pueden conectarse con modelos que hacen cosas que se parecen m\u00e1s a percibir y pensar, entonces eso nos puede dar modelos m\u00e1s integradores de c\u00f3mo funcionan las cosas en el cerebro\u00bb, dijo Tenenbaum. dice. \u00abEsto podr\u00eda llevarnos hacia mejores modelos de inteligencia artificial, adem\u00e1s de brindarnos mejores modelos de c\u00f3mo funciona una mayor parte del cerebro y c\u00f3mo surge la inteligencia general, que los que hemos tenido en el pasado\u00bb.<\/p>\n
Otros autores del art\u00edculo son Idan Blank Ph.D. ’16 y estudiantes de posgrado Greta Tuckute, Carina Kauf y Eghbal Hosseini. <\/p>\n
Explora m\u00e1s<\/p>\n
\u00bfHermoso o atractivo? Los modelos de lenguaje neuronal prueban la sustituci\u00f3n de palabras M\u00e1s informaci\u00f3n:<\/strong> La arquitectura neuronal del lenguaje: el modelado integrador converge en el procesamiento predictivo, Actas de la Academia Nacional de Ciencias (2021). DOI: 10.1073\/pnas.2105646118. Informaci\u00f3n de la revista:<\/strong> Procedimientos de la Academia Nacional de Ciencias <\/p>\n Proporcionado por el Instituto de Tecnolog\u00eda de Massachusetts Cita<\/strong>: La inteligencia artificial arroja luz sobre c\u00f3mo el cerebro procesa el lenguaje (2021, octubre 25) recuperado el 29 de agosto de 2022 de https:\/\/medicalxpress.com\/news\/2021-10-artificial-intelligence-brain-language.html Este documento est\u00e1 sujeto a derechos de autor. Aparte de cualquier trato justo con fines de estudio o investigaci\u00f3n privados, ninguna parte puede reproducirse sin el permiso por escrito. El contenido se proporciona \u00fanicamente con fines informativos.<\/p>\n","protected":false},"excerpt":{"rendered":" Cr\u00e9dito: CC0 Public Domain En los \u00faltimos a\u00f1os, los modelos de lenguaje de inteligencia artificial se han vuelto muy buenos en ciertas tareas. En particular, sobresalen en la predicci\u00f3n de la siguiente palabra en una cadena de texto; esta tecnolog\u00eda ayuda a los motores de b\u00fasqueda y las aplicaciones de mensajes de texto a predecir … Continuar leyendo \u00abLa inteligencia artificial arroja luz sobre c\u00f3mo el cerebro procesa el lenguaje\u00bb<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-114","post","type-post","status-publish","format-standard","hentry","category-general"],"_links":{"self":[{"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/posts\/114","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/comments?post=114"}],"version-history":[{"count":0,"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/posts\/114\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/media?parent=114"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/categories?post=114"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.biblia.work\/articulos-salud\/wp-json\/wp\/v2\/tags?post=114"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}