La crisis de reproducibilidad podría estar toda en su software
El resaltado amarillo muestra que el análisis de un equipo (arriba) detectó actividad cerebral en regiones mucho más amplias que el análisis de otros equipos (ver más abajo). Crédito: Roeland Hancock
Se supone que la ciencia es repetible. Pero cada vez con más frecuencia, a los científicos les resulta difícil rehacer los experimentos publicados y obtener los mismos resultados. Ahora, un gran grupo de neurocientíficos sugiere que el software puede ser parte del problema.
La ciencia se basa en la observación repetida para comprender el mundo. Cualquiera que haga el mismo experimento, observando el mismo fenómeno, debería ser capaz de sacar las mismas conclusiones. Pero últimamente, campos tan diversos como la psicología del comportamiento y la biología del cáncer han tenido problemas para reproducir resultados de experimentos supuestamente idénticos.
Ahora, una gran colaboración de neurocientíficos informa en la edición del 20 de mayo de Nature que han logrado reproducir la crisis de reproducibilidad en un solo experimento. La premisa era simple: muchos equipos diferentes de neurocientíficos analizarían los mismos datos de imágenes cerebrales para responder el mismo conjunto de preguntas. En teoría, todos deberían llegar al mismo conjunto de conclusiones. Pero eso no fue lo que sucedió.
Los datos de imágenes cerebrales son un objetivo atractivo. Las descripciones populares de la técnica hacen que parezca que las imágenes cerebrales ofrecen resultados obvios: el sujeto piensa o hace algo, y una parte específica de su cerebro se ilumina. Pero en la práctica, requiere bastante análisis de datos.
El segundo equipo produjo resultados muy diferentes a los del primer equipo, visto arriba. Crédito: Roeland Hancock
En primer lugar, los datos de imágenes cerebrales sin procesar no se evalúan a simple vista. Los investigadores deben usar análisis de software para procesarlo en imágenes, y hay muchas opciones involucradas. Como explica Roeland Hancock, director asociado del Centro de Investigación de Imágenes Cerebrales de UConn y profesor asistente de investigación en el Departamento de Ciencias Psicológicas, primero los investigadores tienen que elegir el paquete de software que desea usar para procesar los datos. Luego eligen el algoritmo específico dentro de ese programa. Los investigadores también deben elegir qué factores de confusión deben tener en cuenta y cuáles probablemente no importen y no se tengan en cuenta. Y luego está la suavidad, o cuán intencionalmente borrosa será la imagen para dar cuenta de las pequeñas inconsistencias espaciales en los datos.
«Esto muestra cuán variables pueden ser los resultados incluso entre lo que podríamos considerar métodos estándar de análisis «, dice Hancock.
Los organizadores del estudio asignaron a 70 equipos, incluidos dos equipos de estudiantes graduados de UConn (Charles Davis, Monica Li, Yanina Prystauka, Emily Yearling y Xu Zhang), el mismo conjunto de datos: escáneres cerebrales fMRI de 108 personas involucradas en un juego de dinero. Junto con los datos vino una lista de hipótesis de verdadero o falso sobre esos datos: ¿estaban o no varias regiones específicas del cerebro involucradas en esa tarea?
De nueve hipótesis, cuatro recibieron respuestas muy consistentes en lo que estuvo de acuerdo la mayoría de los equipos. Pero las otras cinco hipótesis recibieron respuestas muy inconsistentes.
Después de analizar los resultados de todos los equipos, los autores del estudio tienen algunas recomendaciones para cualquiera que quiera hacer ciencia reproducible: procese sus datos de múltiples maneras diferentes, luego agregar los resultados. E idealmente, pídale a alguien que no esté involucrado en la investigación que también procese sus datos.
Explore más
La alta variabilidad es consecuencia de flujos de trabajo de datos complejos, según un estudio Más información: Martin Lindquist. Resultados de neuroimagen alterados por diferentes canalizaciones de análisis, Nature (2020). DOI: 10.1038/d41586-020-01282-z
Rotem Botvinik-Nezer et al. Variabilidad en el análisis de un solo conjunto de datos de neuroimagen por muchos equipos, Nature (2020). DOI: 10.1038/s41586-020-2314-9 Información de la revista: Naturaleza