Complicaciones de replicación
WIKIMEDIA, JUN SIETACinco artículos publicados en eLife esta semana (19 de enero) brindan los primeros resultados del Proyecto de reproducibilidad: Biología del cáncer, un esfuerzo de colaboración entre el Center for Open Science (COS) y Science Exchange que tiene como objetivo replicar de forma independiente experimentos de artículos de biología del cáncer de alto perfil. Los resultados revelan que, por una variedad de razones técnicas y de otro tipo, reproducir los resultados publicados es un desafío.
“Este es un esfuerzo extremadamente importante. Aunque los resultados publicados pertenecen solo a un pequeño conjunto del proyecto más grande, la imagen es convincente de que la reproducibilidad en la biología del cáncer es muy difícil de lograr,” dijo John Ioannidis de la Facultad de Medicina de la Universidad de Stanford, quien no participó en el proyecto. “Veo los resultados no de forma negativa. . . sino como un control de la realidad y como una oportunidad para avanzar en la dirección correcta, lo que significa más transparencia, más apertura, una documentación más detallada de…
Los investigadores lanzaron el Proyecto de Reproducibilidad: Biología del Cáncer en 2013 con un objetivo de replicar de forma independiente un subconjunto de experimentos de 50 de los artículos de biología del cáncer más impactantes publicados entre 2010 y 2012. (Por razones financieras, el equipo, hasta la fecha, ha reducido el análisis a aproximadamente 30 artículos).
Tras los resultados de un proyecto similar del COS, el Proyecto de Reproducibilidad: Psicología, en el que solo entre un tercio y la mitad de los resultados examinados se replicaron con éxito, la expectativa para este nuevo proyecto era que la replicación sería igualmente ardua, dijo Brian Nosek. , cofundador y director ejecutivo del COS, quien lideró ambos proyectos.
Entonces, el objetivo del proyecto era maximizar la calidad de la metodología para que pudiéramos aprender tanto como fuera posible, dijo a El científico . Después de todo, si simplemente hacemos un mal trabajo con los experimentos, entonces no es interesante fallar en replicar cosas.
Para aumentar sus posibilidades de éxito en la replicación, los investigadores contactaron a los autores de los artículos originales para pedirles consejo. y cuando fue posible reactivos, escribieron protocolos detallados que luego fueron revisados por esos autores, y enviaron los protocolos y planes experimentales a eLife para revisión por pares y publicación como informes registrados.
A pesar de estos esfuerzos preparatorios , pocos de los experimentos informados en los primeros cinco estudios de replicación arrojaron resultados equivalentes a los de los estudios originales. En algunos casos, los nuevos experimentos arrojaron resultados diferentes o menos estadísticamente significativos que los originales, mientras que en otros, los resultados de la replicación se confundieron, entre otras cosas, por las diferencias en el comportamiento de determinadas células o ratones modelo entre el estudio original y el nuevo.
En correos electrónicos a The Scientist, los autores de los estudios originales destacaron las posibles razones de algunas de las discrepancias, como sospechas de diferencias en la preparación de las muestras, el uso de diferentes métodos estadísticos y más. .
Poner los laboratorios individuales en el banquillo no es el objetivo de estos estudios de replicación, dijo Lawrence Tabak, director adjunto principal de los Institutos Nacionales de Salud, que no participó en el proyecto. Estoy particularmente preocupado de que las personas combinen las dificultades en la reproducibilidad con cosas que son nefastas, como mala conducta, etc. No se trata de eso. En cambio, dijo, los esfuerzos como este proyecto de reproducibilidad realmente subrayan cuán increíblemente complicada es la investigación biomédica.
Para mejorar la reproducibilidad en la ciencia mediante la promoción del acceso a detalles metodológicos y datos sin procesar, el COS ha creado una serie de medidas de transparencia y Pautas de promoción de apertura (TOP) para que las adopten revistas, financiadores y sociedades académicas. Más de 750 revistas y organizaciones son ahora firmantes TOP, según Tim Errington, gerente de metaciencia en el COS, quien codirigió el nuevo proyecto. Pero, dijo, se necesita un cambio cultural.
La forma en que recompensamos a los científicos se basa en los resultados, dijo. ¿Cuántas publicaciones obtuviste? . . ¿En qué revistas están? Pero no somos científicos porque sabemos cuál es el resultado. La reproducibilidad debe ser recompensada, dijo Errington.
En última instancia, Tabak señaló que tal cambio es una responsabilidad compartida entre las agencias de financiación que invierten en estudios de replicación, las revistas que promueven y recompensan la transparencia y los propios científicos.
De hecho, estuvo de acuerdo Ioannidis: cuanto más aceptación obtenga de estas partes interesadas, más probable es que las cosas realmente mejoren.
F. Aird et al., Estudio de replicación: Inhibición del bromodominio BET como estrategia terapéutica para apuntar a c-Myc, eLife, 6:e21253, 2017.
S. Horrigan et al., Estudio de replicación: la secuenciación del genoma del melanoma revela mutaciones frecuentes en PREX2, eLife, 6:e21634, 2017.
S. Horrigan et al., Estudio de replicación: la interacción de la proteína alfa reguladora de la señal CD47, SIRPa, es un objetivo terapéutico para los tumores sólidos humanos, eLife, 6:e18173, 2017.</p
I. Kandela et al., Estudio de replicación: Descubrimiento y validación preclínica de indicaciones de fármacos utilizando compendios de datos públicos de expresión génica, eLife, 6:e17044, 2017.
C. Mantis et al., Estudio de replicación: la coadministración de un péptido que penetra en tumores mejora la eficacia de los medicamentos contra el cáncer, eLife, 6:e17584, 2017.
BA Nosek y TM Errington, Dar sentido a las replicaciones, eLife, doi:10.7554/eLife.23383.001, 2017. Corrección (18 de enero): El Proyecto de Reproducibilidad: Biología del Cáncer se lanzó en 2013, no en 2014, como se escribió anteriormente. El Científico lamenta el error.
¿Interesado en leer más?
The Scientist ARCHIVES
Conviértase en miembro de
Reciba acceso completo a más de 35 años de archivos, así como TS Digest, ediciones digitales de The Scientist, artículos destacados, ¡y mucho más!Únase gratis hoy ¿Ya es miembro?Inicie sesión aquí