El marco MDAR tiene como objetivo estandarizar los informes en las ciencias de la vida

ARRIBA: ISTOCK.COM, ALPHAN ASIÁTICO

Abundan los conjuntos de pautas sobre cómo se deben realizar y reportar los estudios en las ciencias de la vida, incluidos ARRIVE, que aborda la investigación con animales; STRANGE, un recién llegado que aborda específicamente la investigación del comportamiento animal; y métodos Cell Press STAR. Dichos marcos tienen como objetivo aumentar la calidad y la transparencia de la investigación.

La semana pasada, en un artículo publicado en PNAS, un grupo de trabajo con miembros de eLife , Wiley, PLOS, el Centro para la Ciencia Abierta, la Universidad de Edimburgo, Nature Portfolio, Cell Press y Science propusieron un nuevo marco que dicen que se puede aplicar de manera flexible a una variedad de tipos de vida la investigación científica y reducir la carga sobre las revistas y los autores en relación con las directrices existentes. Por ejemplo, se solicita a los autores que proporcionen DOI para protocolos de estudio registrados previamente o registros de ensayos clínicos, si están disponibles; proporcionar información completa sobre los tipos de células o animales de experimentación utilizados y dónde se obtuvieron; y para describir el número de veces que se repitió un experimento. El científicohabló con el miembro del grupo de trabajo Malcolm Macleod, profesor de neurología en la Universidad de Edimburgo que trabaja en la mejora e integridad de la investigación, sobre el nuevo marco, denominado Informe de análisis de diseño de materiales (MDAR).

Ver STRANGE Framework aborda el sesgo en la investigación del comportamiento animal

El científico: ¿Cómo surgió este grupo de trabajo?

Malcolm MacleodEMILY SENA

Malcolm Macleod: Esencialmente, lo que sucedió fue que varias editoriales, en particular Springer Nature, intentaron implementar lo que se conoció como las pautas de Landis para la transparencia y el informe de la investigación de laboratorio. Se habían publicado en 2012 [y Nature] había intentado implementarlos como parte de su plataforma de gestión de manuscritos. Y descubrieron que podían, y de hecho participamos en un estudio de antes y después que mostró que lo que realmente hicieron mejoró la calidad de sus informes. Pero era tan oneroso en términos de tiempo del personal editorial interno que incluso en Nature, tenían dificultades para brindarlo en todos sus periódicos. 

Había una opinión que había surgido de que si a Nature le resultaba difícil, entonces esto no era algo que otras revistas encontrarían nada fácil, dada la posición relativa de Nature en ese espacio. Y así, junto con otras revistas, se les ocurrió la idea de tratar de establecer una versión que fuera más fácil de implementar. . . para el personal de manejo editorial de la revista, y para los revisores de manuscritos, y para los autores cuando preparan sus manuscritos de una manera que les permita obtener lo que querían, con menos sangre, sudor y lágrimas.

TS: ¿Cómo se dispuso a aliviar esas cargas?

MM: Comenzamos desde el Center for Open Science TOP para la elaboración de informes y esencialmente decidimos que queríamos tener un sistema que fuera un marco en lugar de una camisa de fuerza, es decir, no dictaría cada componente de cada elemento que debe hacer una revista, sino que crearía, si lo desea, un menú, una mezcla heterogénea de artículos entre los que la revista podía elegir. Y eso nos permitió profundizar más en algunos de estos elementos de lo que sería el caso si todo tuviera que aplicarse a todas las revistas. 

Entonces, por ejemplo, hay algunos de los elementos que se relacionan a la investigación con sujetos humanos, y algunos elementos que se relacionan con la investigación basada en cultivos celulares. Ahora, si usted es una revista que solo publica artículos en cultivo celular, no necesita preocuparse por los campos de sujetos humanos. Y si solo investiga con sujetos humanos, no tiene que preocuparse por los campos de cultivo celular. Así que es flexible en ese sentido. 

La segunda cosa es que estábamos interesados en que este no debería ser un sistema en el que se aprueba o se suspende, si le gusta que una revista tenga que tener un estándar que sea lo último en tecnología es perfecto o no existe ningún estándar, sino más bien en cada uno de ellos para tener un enfoque por etapas y por etapas que permita a las revistas decir, bueno, aquí es donde creemos que nosotros y nuestra comunidad de investigación estamos ahora, y este es el nivel del estándar en el que vamos a comenzar. Y luego, dependiendo de cómo cambien las cosas con el tiempo, podemos pasar al siguiente nivel en el estándar. O si descubrimos que nadie va a ninguna parte con eso, entonces tal vez podamos retroceder un nivel, si entiendes a lo que me refiero. . . . Establece requisitos mínimos y luego recomendaciones de mejores prácticas.

Esos requisitos mínimos se refieren a la accesibilidad de dónde están los datos, el material, los códigos, lo que sea, la identificación con identificadores únicos e inequívocos, y luego una descripción mínima. caracterización. 

Y luego, al buscar algo que pudiera implementarse en todas las revistas que publican trabajos en las ciencias de la vida, en lugar de que cada revista tenga su propia versión ligeramente diferente, queríamos hacer las cosas más fácil para los autores. Y sabrían que si prepararon un manuscrito de acuerdo con este marco aplicado en su campo, entonces eso sería lo que las revistas les estarían pidiendo. [No] tendrían que seguir pensando en cuál era su revista objetivo y cómo necesitaban cambiar las cosas o hacer las cosas de manera diferente, según la revista.

TS: ¿Cree que esto podría ser algo, porque tiene estos niveles, que podría usarse para calificar revistas o artículos específicos, como calificaciones de impacto?

MM:  Fui una de las únicas dos personas involucradas en el desarrollo [de MDAR] que no tenía afiliación a una revista o editorial. Para mí, como un extraño. . . [si] Soy un investigador, he hecho un poco de trabajo, lo he escrito todo, tengo un manuscrito, puedo poner ese manuscrito en bioRxiv, y está indexado y se encuentra allí, y la gente lo encontrará ¿De dónde proviene el valor agregado de la publicación de revistas? Supongo que hay tres partes de eso. Una es en términos de difusión. Una es en términos de esos hermosos tipos de letra y diseños y todo eso. Pero la tercera es la idea de que si mi trabajo se publica en la revista X, eso dice algo sobre la calidad de mi trabajo. . . ha sido criticada apropiadamente por fetichizar el factor de impacto y el índice H y cosas por el estilo, cuando nosotros y otros hemos demostrado que eso a menudo tiene una relación muy limitada con la calidad subyacente de la investigación que se lleva a cabo. Creo que tiene razón, que una revista que podría demostrar que había adoptado este marco y que, lo que es más importante, el trabajo que publicó cumplía con los requisitos del marco de presentación de informes. . . vería crecer su reputación. Es una oportunidad, como usted sugiere, para que las revistas prueben y demuestren en qué son buenas y también, luego, para que otros hagan inferencias sobre la calidad del trabajo realizado en diferentes revistas.

TS: ¿Cuál espera que sea el impacto en la ciencia más amplio de tener este marco que es más fácil de implementar?

MM: He estado involucrado en este espacio durante diez o quince años y he realizado un par de evaluaciones tanto de las pautas ARRIVE como de la lista de verificación de Nature, y participó tanto en esto como en la revisión de las pautas ARRIVE para en investigación en vivo. Y está claro que no existe una bala mágica única. No creo, para evitar dudas, que esta es una bala mágica única que va a cambiar el mundo. Creo que gradualmente, deberíamos poder mejorar gradualmente la calidad de la investigación publicada. Y espero que esto contribuya a eso aumentando la comprensión en las revistas y con los autores. . . de lo que representa el informe de investigación de mejores prácticas, sino también de por qué esas cosas son importantes. Hay un documento de explicación y elaboración publicado como materiales complementarios junto con este artículo que lo analiza con cierto detalle.

Sospecho que mucho de lo que vemos en el campo de la investigación in vitro, si supiera los detalles de lo que se hizo exactamente, sería sustancialmente menos convincente de lo que aparece en la página.

Ahora no me malinterprete, creo que se están logrando avances. Y, de hecho, para la investigación con animales, cosas como el informe de cegamiento, el informe de aleatorización, por lo que podemos decir, probablemente esté aumentando en términos absolutos en aproximadamente un dos por ciento por año durante la última década. Ahora eso es bueno, pero a ese ritmo de progreso, estaré retirado por mucho tiempo antes de que alcancemos el tipo de niveles que me gustaría ver. Entonces, cualquier cosa que pueda ayudar a acelerar eso y dar más impulso a esos procesos, es decir, facilitar, permitir y fortalecer una línea de mejora y actividad que ya está sucediendo, sería algo bueno.

Uno de los Lo bueno del marco MDAR es que, debido a que proporciona un marco bastante estandarizado en todas las revistas, hace que sea más factible para terceros y para empresas emergentes, por ejemplo, desarrollar herramientas que puedan ayudar en el proceso de manejo editorial. Por ejemplo, herramientas de procesamiento de lenguaje natural o de aprendizaje automático. . . luego resaltaría las áreas en las que [ellos] pensaron que el manuscrito era sólido, las áreas en las que [ellos] vieron que el manuscrito era débil, y luego podría exponer esas, si lo desea, opiniones derivadas de la máquina a los revisores pares y al personal editorial para que puedan luego puede verificar más fácilmente cómo se estaba desempeñando ese manuscrito en particular en comparación con el marco. ¿Existen otras áreas que le vengan a la mente que necesiten mejorar particularmente en términos de presentación de informes? Y si es así, ¿por qué son importantes esas áreas?

MM: Hay dos direcciones para entrar aquí. Una es, después de arreglar la aleatorización y el cegamiento, ¿qué más deberíamos arreglar en los experimentos con animales? Y creo que las dos cosas que para mí serían más importantes serían, en primer lugar, que las personas informaran los cálculos del tamaño de la muestra para que sepamos por qué su experimento era del tamaño que era; y en segundo lugar, que las personas habían articulado lo que iban a hacer por adelantado en un protocolo para el estudio que estaba disponible en el dominio público y estaba fechado antes de que comenzara el experimento. Existe esta práctica de investigación cuestionable y bellamente nombrada llamada HARKing, de la que quizás hayas oído hablar, que es hacer hipótesis después de que se conocen los resultados. Entonces, estás probando una hipótesis, no obtienes la respuesta correcta. Pero luego te convences de que en realidad estabas probando otra cosa. Y bueno, si probamos algo más, ps menos de 0,05. Y se soluciona haciendo que la gente afirme de antemano cuál es su hipótesis, y qué considerarán como ganador, y qué considerarán como éxito. Así que eso va en una dirección.

La segunda dirección, que creo que es probablemente más importante, es extender la aplicación de las preocupaciones sobre, por ejemplo, la aleatorización y el cegamiento al espacio de investigación in vitro. Quiero decir, en términos epistemológicos, medir el resultado en respuesta, por ejemplo, a una droga en un animal es el mismo proceso epistemológico que medir en una colección de células. No hay ninguna razón por la que la aleatorización y el cegamiento sean importantes en los animales, pero no importantes en el cultivo celular. Y, sin embargo, cuando observamos el nivel de notificación de cegamiento en cultivos celulares: quizás dos o tres por ciento; aleatorización en cultivo celular: probablemente del mismo orden de magnitud, dos o tres por ciento. investigación in vitro, creo que es sumamente importante que intentemos y comencemos a determinar dónde están los riesgos de sesgo en la investigación in vitro. Por supuesto, no serán los mismos que en la investigación in vivo. Algunos serán comunes a los dos, pero cosas como la pseudoreplicación en experimentos de cultivo celular, cosas como, ¿cuántas veces hiciste el experimento y cuántas de ellas se incluyeron en tu artículo? Es mucho más fácil y económico repetir un experimento de cultivo celular hasta obtener la respuesta correcta que repetir un experimento animal de seis meses hasta obtener la respuesta correcta. Y sospecho que mucho de lo que vemos en el campo de la investigación in vitro, si supiera los detalles de lo que se hizo exactamente, sería mucho menos convincente de lo que parece en la página.

Consulte Preguntas y respuestas: John Ioannidis habla sobre la transparencia en la literatura biomédica

TS: ¿Alguna revista ha firmado hasta ahora y ha dicho que sí, vamos a utilizar este marco?

MM: Estoy seguro de que varias de las principales revistas involucradas . . . están comprometidos a implementar esto, ya sea en su totalidad o en parte.

Nota del editor: esta entrevista fue editada por motivos de brevedad.