Estudio encuentra problemas de reproducibilidad en trabajos de cáncer de alto impacto

ARRIBA: ISTOCK.COM, PHOTOEVENT

Un proyecto a gran escala diseñado para evaluar la reproducibilidad en la investigación preclínica del cáncer ha identificado desafíos significativos asociados con la repetición otros científicos trabajan, renovando los llamados a una mayor transparencia e intercambio de datos en la comunidad biomédica.

El proyecto, lanzado en 2013 por el Centro sin fines de lucro para la Ciencia Abierta (COS) en colaboración con el mercado de investigación en línea Science Exchange , intentó reproducir los resultados clave de más de 50 estudios de alto impacto publicados entre 2010 y 2012.

Durante los siguientes ocho años, los investigadores lograron repetir los experimentos de poco menos de la mitad de esos estudios, y descubrió que los resultados que obtuvieron eran mucho menos claros que los informados en los artículos originales, una evaluación que generó críticas de algunos de los autores de esos artículos.

Para el resto de los estudios, el equipo a menudo no pudo obtener suficiente información sobre los métodos utilizados ni de los artículos ni de sus autores, y tuvo que abandonar por completo los intentos de replicación.

Las conclusiones del proyecto se resumen en dos artículos publicados hoy (7 de diciembre). ) en eLife.

Mike Lauer, subdirector de investigación extramuros de los Institutos Nacionales de Salud, felicitó al equipo de COS por su excelente trabajo. Hablando como comentarista junto con los organizadores de proyectos en una conferencia de prensa virtual moderada por eLife la semana pasada, enfatizó que los hallazgos no significan que la ciencia no sea confiable o desesperada, sino que subrayan la necesidad de una cultura más abierta. que valora la transparencia y el proceso científico por encima de las publicaciones individuales. Un artículo científico rara vez cuenta la historia completa, dijo. Esta es una forma rigurosa de demostrarlo.

El proyecto

A menudo culpado por los desafíos en la traducción de la investigación animal a los humanos, el problema de la mala reproducibilidad ha sido durante mucho tiempo una fuente de preocupación. en las ciencias biomédicas. El proyecto COS, que fue financiado por la Fundación Laura y John Arnold, fue uno de varios esfuerzos de toda la disciplina lanzados en la década de 2010 para profundizar en el problema y proporcionar posibles soluciones.

El objetivo era repita 193 experimentos de 53 estudios de cáncer de alto impacto publicados en revistas que incluyen Nature, Cell y Science. Los artículos se seleccionaron principalmente en función del número de citas, aunque se excluyeron los estudios que describían ensayos clínicos, informes de casos o experimentos que requerían acceso a equipos o muestras particularmente difíciles de obtener.

Cada estudio se asignaría a un grupo de investigadores que reuniría la información necesaria para escribir un informe registrado, un documento que describiera exactamente cómo planeaban repetir y analizar los experimentos.

Es como un control de calidad. ¿Esta es la tasa de replicación que esperaríamos ver? . . . Y si no es así, ¿dónde nos estamos equivocando?

Marcus Munaf, Universidad de Bristol

Estos informes se someterían a una revisión por pares para su publicación en eLife, un paso diseñado para aumentar la transparencia explicando los planes antes de cualquier trabajo de laboratorio, dijo a los periodistas el director de investigación de COS, Tim Errington, en la conferencia de prensa la semana pasada. Luego, los equipos llevarían a cabo los experimentos y compararían los hallazgos con los del artículo original. de 50 experimentos repetidos y 158 resultados medidos. Estos estudios de replicación se sometieron a su propia revisión por pares para ser publicados como artículos en eLife.

Si bien algunos de estos estudios reprodujeron con éxito partes clave del original artículos, muchos podían reproducir sólo algunas partes, o ninguna, o los resultados no podían interpretarse claramente. Usando un metanálisis para comparar ampliamente los efectos informados en los estudios replicados con los informados en los estudios originales, Errington y sus colegas encontraron que los primeros tendían a ser más pequeños y tenían menos probabilidades de ser significativos que los últimos.

Por ejemplo, de 97 efectos numéricos (como un aumento porcentual en la concentración de un metabolito en particular) que fueron estadísticamente significativos en los estudios originales, solo 42 en los estudios repetidos fueron estadísticamente significativos y en la misma dirección. Siete fueron estadísticamente significativos en la dirección opuesta: un aumento en el estudio original, por ejemplo, se convirtió en una disminución en el intento de replicación y el resto fueron resultados estadísticamente insignificantes o nulos.

Diferencias en la interpretación

Para los investigadores que han estado siguiendo los problemas de reproducibilidad en la investigación científica, es poco probable que los resultados sean sorprendentes, dice Marcus Munaf, psicólogo biológico de la Universidad de Bristol y presidente del grupo directivo de la Red de Reproducibilidad del Reino Unido, un consorcio que tiene como objetivo mejorar la calidad de la investigación científica. Realmente confirma los hallazgos de otros estudios similares en dominios ligeramente diferentes, dice Munaf, que no participó en el proyecto COS, a The Scientist. 

Más que proporcionar una evaluación de estudios individuales, este tipo de proyectos a gran escala actúan como una prueba de diagnóstico de cómo funciona la ciencia, dice, y agrega que si bien los estudios se publicaron hace una década, los hallazgos de los proyectos siguen siendo pertinentes para nuestra comprensión de la ciencia. Es como un control de calidad. ¿Esta es la tasa de replicación que esperaríamos ver? . . . Y si no es así, ¿dónde nos estamos equivocando?

Ver UK Group Tackles Reproducibility in Research

Brian Nosek, director ejecutivo y cofundador de COS, ofreció una interpretación similar en la prensa conferencia, diciendo que el proyecto no proporciona respuestas a por qué un resultado en particular podría o no reproducirse. Dijo que las posibles explicaciones incluyen que el resultado original fue un falso positivo; que el estudio de replicación produjo un falso negativo; o simplemente que hubo una pequeña diferencia en las condiciones que condujo a un resultado diferente, por lo que ningún resultado fue realmente incorrecto.

Esta última posibilidad fue destacada por varios científicos cuyo trabajo fue seleccionado como parte del proyecto de reproducibilidad. Robert Holt del BC Cancer Research Institute en Vancouver fue el autor principal de un artículo de 2011 en Genome Research que informó una prevalencia elevada de Fusobacterium nucleatum  en tumores colorrectales en comparación con el tejido normal. El estudio de replicación asociado con ese artículo, en el que Holt no participó, concluyó que la diferencia en F. nucleatum entre [carcinoma colorrectal] y tejidos normales adyacentes fue . . . más pequeño que el estudio original, y no se detecta en la mayoría de las muestras. Holt escribe en un correo electrónico que no está de acuerdo con algunos de los análisis y conclusiones del documento de los equipos de COS.

Por lo general, apoyo estos esfuerzos, son contribuciones importantes, señala Holt, pero también creo que la generalización los estudios serían una forma mucho mejor de enmarcarlos porque la pregunta que se hace suele ser cómo se generalizan los resultados en diferentes entornos, condiciones experimentales y enfoques analíticos.

El proyecto no proporciona respuestas a por qué un resultado en particular podría o no se pudo reproducir.

Miguel Del Pozo, del Centro Nacional de Investigaciones Cardiovasculares de Madrid, está de acuerdo en que los proyectos de reproducibilidad son importantes y agrega que lo tomó como un cumplido cuando el COS se acercó para repetir parte de su trabajo de laboratorio. Se coordinó con varios colegas y colaboradores en el artículo original para ayudar a los investigadores de COS a obtener la información y los materiales que necesitaban, le dice a The Scientist. 

Pero nota varias diferencias entre sus laboratorios 2011 Cell estudio de seguimiento de la remodelación de la matriz extracelular en el microambiente tumoral y el intento de replicación de COS. Por ejemplo, en ambos estudios, los ratones portadores de tumores se sacrificaron por razones éticas una vez que su carga tumoral se hizo demasiado grande, pero este criterio de valoración se cumplió después de solo 45 días en el intento de replicación, en comparación con los 70 días del estudio original, una diferencia que el COS Los investigadores reconocen en su informe de replicación que impide una comparación clara de los dos estudios.

Del Pozo agrega que, en general, las diferencias entre los estudios originales y los intentos de replicación probablemente se deban a la experiencia. o años para perfeccionar, dice, por lo que no es sorprendente que sean difíciles de recrear en otro laboratorio. en Roswell Park Comprehensive Cancer Center, cuyo estudio de 2011 Nature Medicine sobre células madre cancerosas también fue seleccionado, es más crítico con el proyecto. Le dice a The Scientist en un correo electrónico que estaba extremadamente desanimado por el enfoque de los equipos de COS y cuestiona la validez del intento de replicación de su trabajo por parte de los grupos. Entre otras cosas, el estudio COS informó que los niveles del microARN miR-34a estaban elevados en ciertas células tumorales, en lugar de reducirse como se informó en el artículo original.

En una carta de 2019 a eLife, Tang y un coautor escriben que los investigadores de COSs se desviaron significativamente de nuestro trabajo original, enumerando varios ejemplos de diferencias en métodos y materiales. La pareja agrega que, aunque aplauden conceptualmente los objetivos del proyecto, encontramos que este estudio del Proyecto de Reproducibilidad tiene muchos defectos y, contrario a las [intenciones] originales, hace muy poco para ayudar a la comunidad científica o al bien público.

Vea cómo los equipos de investigación obtienen diferentes resultados a partir de los mismos datos de escáner cerebral

Errington reconoció que algunos estudios de replicación tuvieron que modificar los protocolos originales debido a limitaciones financieras, prácticas o de tiempo, pero dijo que los investigadores del proyecto se apegaron lo más posible a los experimentos originales y siempre documentaron dónde se habían desviado.

Barreras a la reproducibilidad

Junto con el trabajo científico, los investigadores de COS recopilaron datos sobre los obstáculos prácticos que enfrentaron durante el proyecto. Una de las principales razones por las que hubo que abandonar los intentos de replicación fue la falta de información: de los 53 documentos originales marcados por el proyecto, ninguno se pudo recrear solo con los métodos descritos en esos documentos.

Este significaba que los investigadores tenían que comunicarse con los autores para solicitar información sobre materiales, protocolos experimentales, análisis y otros detalles que se habían omitido en los estudios publicados por razones de espacio u otras. Las respuestas a estas solicitudes fueron mixtas: algunos autores fueron muy útiles y respondieron a múltiples preguntas de seguimiento y/o materiales compartidos, según muestran los datos de los equipos. Al dirigirse a los periodistas la semana pasada, Marcia McNutt, presidenta de la Academia Nacional de Ciencias, se refirió a estos autores como los verdaderos héroes de este proyecto. , los autores no respondieron o no ayudaron en absoluto, dijo Errington; algunos respondieron cuestionando el valor del proyecto. Culpó a este tipo de problemas de comunicación no solo por hacer que se descartaran algunos intentos de replicación, sino por alargar el tiempo que tomó completar el restan promedio de 197 semanas desde la selección de un estudio para la replicación hasta la publicación del informe final.

Al hablar sobre las posibles soluciones, McNutt dijo que se necesitan mejores incentivos para ayudar a impulsar el intercambio entre los científicos. Actualmente, hay pocos incentivos para cooperar con una réplica, dijo, particularmente cuando se trata de artículos que ya son muy citados. Algunas prácticas, como el intercambio de datos y el intercambio de códigos, ya están comenzando a ser obligatorias por parte de revistas o patrocinadores, agregó. Lauer señaló que los NIH implementarán una nueva y mejorada política de intercambio de datos en 2023.

Sin embargo, los oradores también señalaron que algunos de los problemas más grandes son culturales, es decir, la tendencia de las comunidades científicas a ver las replicaciones como algo personal. ataques en lugar de oportunidades para avanzar en la comprensión, y tratar las publicaciones como productos terminados en lugar de trabajos en progreso. El problema es que nos enfocamos en los resultados en lugar del proceso, dice Munaf, haciéndose eco de un punto planteado por varios oradores en la conferencia. Eso es lo que creo que debe cambiar fundamentalmente.

Aclaración (10 de diciembre): este artículo se modificó para incluir más detalles sobre el estudio de replicación del trabajo de Robert Holt sobre el cáncer colorrectal.