Estudio de la importancia del microbioma en el autismo desencadena una rápida reacción violenta

ARRIBA: &copia; ISTOCK.COM, JONGHO SHIN

Muchos científicos han señalado posibles errores de análisis e interpretación en un estudio de alto perfil que sugirió que los microbios pueden aliviar comportamientos similares al autismo en ratones. La reacción fue rápida y apareció en Twitter y en el sitio de revisión posterior a la publicación PubPeer pocas horas después de la publicación del artículo.

En el artículo, publicado el 30 de mayo en Cell,  Sarkis Mazmanian y sus colegas informaron que los trasplantes fecales de niños autistas pueden desencadenar comportamientos similares al autismo en ratones, y que las moléculas de ciertos microbios pueden aliviar estos comportamientos.

Minutos después de la publicación del estudio, expertos independientes comenzaron planteando preocupaciones en Twitter sobre tres gráficos incluidos en el artículo.

Dado el alto número de variables que se investigan, no es de extrañar que se encuentren algunas diferencias. No se analizan muestras de replicación, por lo que mi expectativa previa sería que estas son falsas, hasta que se demuestre lo contrario

— Kevin Mitchell (@WiringTheBrain) 30 de mayo de 2019

Notaron que…

Notaron que el valor p, una medida de significancia estadística que acompaña a cada gráfico, parecía inverosímil.

Los datos no pasaron lo que yo llamo la prueba del globo ocular, le dice a Spectrum uno de los tuiteros, Kevin Mitchell, profesor asociado de genética en el Trinity College de Dublín en Irlanda.

Otros expresaron su preocupación por el pequeño tamaño de la muestra de los estudios.

Ni siquiera me entiendan comenzó con el N de 3 controles y 5 casos que se utilizaron para la mayoría de los análisis. La variabilidad entre los donantes era enorme.

Jonathan Sebat (@sebatlab) 30 de mayo de 2019

Los datos que pueden ver en el documento son bastante engañosos porque hacen que parezca que hay muchos puntos de datos, pero en realidad provienen de un pequeño número de participantes, dice Jon Brock, ex investigador de autismo. Brock escribió un artículo, publicado el 13 de junio en  Medium, criticando el pequeño tamaño de la muestra y las pruebas de comportamiento que usaron los investigadores. Dada la fanfarria otorgada a este estudio, la evidencia de su afirmación central es notablemente débil, escribió.

Comentarios como estos llevaron a Thomas Lumley, un estadístico que no participó en el estudio, a volver a analizar los datos. El 16 de junio, Lumley publicó su nuevo análisis en su blog personal. Llegó a la conclusión de que uno de los hallazgos clave del estudio de que los ratones socializan menos que los controles puede haber sido causado por un análisis estadístico defectuoso.

Análisis inapropiado

Para el análisis en cuestión, los investigadores habían trasplantado taburete de cada donante cinco niños con autismo y tres controles en al menos ocho ratones diferentes. Descubrieron que, como grupo, los ratones con heces de niños autistas entierran más canicas que los controles, pasan menos tiempo interactuando con otros ratones y viajan distancias más cortas en una cámara abierta. Estos resultados aparecieron en los tres gráficos sobre los que Mitchell y otros expresaron su preocupación.

Pero en su análisis estadístico, los investigadores parecen haber tratado a los ratones de cada grupo de forma independiente, aunque algunos habían recibido heces del mismo donante. , dice Lumley. Este error infló artificialmente el tamaño de la muestra en cada grupo. Después de corregir el error, la única diferencia estadísticamente significativa es la cantidad de canicas que enterraron los ratones, según su nuevo análisis.

El análisis de los autores no fue apropiado para su diseño experimental, y tampoco se describió claramente, porque había eran descripciones contradictorias en dos lugares diferentes del documento, dice Lumley, catedrático de bioestadística de la Universidad de Auckland en Nueva Zelanda.

Los investigadores mantienen sus resultados originales: mientras estamos sentados aquí hoy, no hemos encontrado errores con las estadísticas que hemos hecho, dice Mazmanian, profesor de microbiología en el Instituto de Tecnología de California en Pasadena, a Spectrum.

Mazmanian dice que ha pedido a varios estadísticos que vuelvan a analizar los datos. Queremos hacerlo bien, dice. Haremos todo lo posible para asegurarnos de llegar a una conclusión que podamos defender.

Lumley dice que tuvo problemas con el nuevo análisis porque, aunque el equipo de Mazmanian había puesto los datos a disposición en línea, el método estadístico descrito en el pie de figura no coincidía con el de la sección Métodos del artículo.

El que aparece en el pie de figura era claro, pero no era lo que habían hecho, dice Lumley. Y el de la sección Métodos no estaba claro.

Defecto estadístico

Lumley comenzó su nuevo análisis utilizando los métodos descritos en el pie de foto. Este enfoque tiene en cuenta las diferencias aleatorias entre todos los donantes de trasplantes fecales y luego busca las diferencias asociadas con los donantes autistas.

Creo que ese es el análisis correcto, pero no da los resultados que dieron; brinda mucha menos evidencia de las diferencias, dice Lumley.

Lumley volvió a analizar los datos siguiendo la descripción que encontró en la sección Métodos y detalles adicionales que los investigadores proporcionaron en PubPeer. Pudo reproducir los valores p informados en el artículo para cada uno de los tres gráficos.

Aún así, dice que es extraño que los investigadores trataran a cada ratón como si hubiera recibido heces de un donante diferente. .

Ese es un análisis extraño, dice Lumley. No veo ninguna razón por la que harías eso deliberadamente.

El problema puede estar en el software, llamado SPSS, que usaron los investigadores, dice: No sé si eso contribuyó a su problema, pero es el tipo de cosa que fácilmente podría tener. (Mazmanian dice que el estadístico del equipo siguió las pautas del software).

Incluso si el análisis estadístico no resulta ser defectuoso, los críticos dicen que los hallazgos provocativos deben alcanzar una barra más alta que los valores p.

p>

El valor p simplemente resume los datos que tiene en el experimento, dice Mitchell. Si es una afirmación extraordinaria, si requiere algunos mecanismos biológicos nuevos que son realmente desconocidos y ningún fundamento de investigación lo respalda con firmeza, entonces deberíamos pedir un estándar más alto de evidencia.

Un estándar más alto, dice Mitchell , es la replicación. Otro es un informe registrado, un tipo de artículo de revista revisado por pares en el que los investigadores primero describen sus métodos de estudio antes de recopilar sus datos.

Los críticos del artículo también señalaron que cuatro de los miembros del equipo tienen pendientes o aprobados patentes relacionadas con el uso de microbios o moléculas microbianas como tratamientos para el autismo y otras condiciones. Mazmanian también es cofundador y director de Axial Biotherapeutics, una empresa que desarrolla tratamientos intestinales para estas afecciones.

Este artículo apareció por primera vez en Spectrum el 27 de junio.

¿Interesado en leer más?

The Scientist ARCHIVES

Hacerse miembro de

Recibir acceso completo a más de 35 años de archivos, así como TS Digest, ediciones digitales de The Scientist , artículos destacados, ¡y mucho más!Únase gratis hoy ¿Ya es miembro?Inicie sesión aquí