Grupo británico aborda la reproducibilidad en la investigación

ARRIBA: ISTOCK.COM, AF-STUDIO

En 2016, una encuesta de Nature a 1576 investigadores reveló que más del 70 % de ellos  había intentado y no pudo reproducir los experimentos de otros científicos y más de la mitad no pudo replicar los suyos. Estos y otros hallazgos recientes sobre la falta de reproducibilidad en la investigación científica han inspirado la creación de grupos como la Red de Reproducibilidad del Reino Unido (UKRN).

Lanzado en marzo de 2019, el UKRN es un consorcio interdisciplinario que tiene como objetivo abordar este problema para reforzar la calidad de la investigación. El mes pasado, 10 universidades del Reino Unido se convirtieron en parte de UKRN, uniéndose a una red que ya incluye a partes interesadas como la Academy of Medical Sciences, Research Libraries UK, National Institute for Biological Standards and Control, revistas que incluyen Nature y PLOS, y redes locales de investigadores, informes Times Higher Educación.

El científico habló con Marcus Munaf, psicólogo biológico de la Universidad de Bristol y presidente del grupo directivo de investigadores de UKRN, sobre la estructura de UKRN, actividades y planes futuros.

TS: Se ha hablado mucho sobre el representante crisis de reproducibilidad en los últimos años. ¿Podría dar a nuestros lectores algunos antecedentes sobre lo que condujo a la creación de UKRN?

UNIDAD DE EPIDEMIOLOGÍA INTEGRADA DEL CONSEJO DE INVESTIGACIÓN MÉDICA, UNIVERSIDAD DE BRISTOL

Marcus Munaf: No estoy seguro de que me guste particularmente la narrativa de la crisis. Ha habido mucho interés en si la investigación que [la gente] hace es o no tan sólida y replicable como podría ser, y es saludable reflexionar sobre si podríamos hacerlo mejor o no. Creo que cualquier empresa debería invertir una parte de su esfuerzo en pensar si puede o no mejorar la forma en que trabaja. Así que es mucho mejor pensar en esto en términos de ese tipo de encuadre.

Ahora estamos en el punto de pensar, ¿qué podemos cambiar sobre la forma en que trabajamos que podría mejorar la calidad de lo que hacemos? ¿hacer? ¿Cómo podemos investigar si, por ejemplo, el intercambio de datos mejora o no la eficiencia de la transferencia de conocimientos, o mejora la calidad, o lo que sea? Cuando empiezas a pensar de esa manera, te das cuenta de que necesitas comprometerte con una gama de diferentes componentes del sistema de investigación, porque es un sistema global muy complejo e interconectado. El esfuerzo de investigación científica incluye a la academia, la industria, los financiadores, los editores, las instituciones y los investigadores individuales, y lo que tratamos de hacer con UKRN es reunir esos diferentes elementos del sistema de investigación.

Consulte las posibles causas de Irreproducibilidad revelada

TS: ¿Cómo describiría la estructura de las UKRN? 

MM: Nuestra estructura tiene, en líneas generales, tres capas. Tenemos redes locales de base en instituciones individuales que están predominantemente dirigidas por investigadores de carrera temprana y media; son muy informales y auto-organizados y dirigen clubes de revistas de reproducibilidad, dirigen grupos de trabajo de investigación abiertos. En la parte superior, tenemos un grupo de partes interesadas; tenemos financiadores y editores y otras organizaciones sectoriales que están interesadas en asegurar que lo que publican o financian es de alta calidad. Y luego, la tercera parte de la estructura, en el medio, son las propias instituciones.

UKRN es una organización muy informal en muchos sentidos. . . . No se trata de decirle a la gente qué hacer. Se trataba de tratar de coordinar [y] negociar conversaciones, armonizar tanto como fuera posible y centrarse realmente en la integración y la coordinación, tanto vertical como horizontalmente.

TS: Cómo ¿Los investigadores investigan la reproducibilidad?

MM: Existe una subdisciplina creciente de metainvestigación, o investigación sobre la investigación, que utiliza herramientas científicas para comprender cómo funciona el proceso de investigación en sí. . No es algo nuevo, pero ha ganado prominencia en los últimos diez o quince años, particularmente desde el artículo de John Ioannidis, Why Most Published Research Findings Are False, en PLOS Medicine en 2005 que estimuló el interés en esta idea. de utilizar el método científico para cuestionar las propias prácticas de investigación. Ahora hay cientos y cientos de artículos en ese espacio. 

Ver Preguntas y respuestas: John Ioannidis habla sobre la transparencia en la literatura biomédica

Ahora, comenzamos a ver [investigación] buscando en algunas de las novedades introducidas. . . . Muchas revistas están ofreciendo un formato de informe registrado ahora, que es una de las iniciativas que apoyamos esta idea de que envíe su trabajo a una revista antes de que haya recopilado cualquier dato, y se le ofrece en principio aceptación en función de la importancia de la investigación. pregunta y la solidez de la metodología, no en si los resultados son emocionantes o no, como podría describirlos. Se han realizado algunos estudios que analizan la diferencia entre los informes registrados y los formatos de artículos convencionales. . . . Es un intento de evaluar cuál podría ser el impacto de trabajar de estas nuevas formas en la calidad de la investigación que producimos. [Nota del editor: este estudio en PLOS Biology es un ejemplo.]

Pero, por supuesto, una de las cosas que también debemos hacer en segundo plano es pensar en el una cultura de investigación más amplia, porque cualquiera de estas iniciativas por sí sola no va a tener un gran impacto. Lo que necesitamos es tener una cartera de diferentes iniciativas que estén coordinadas y construidas en una discusión más amplia sobre cómo actualizamos nuestra cultura de investigación.

Muchas de las habilidades que necesitamos para capacitar a las personas hay cosas que no son necesariamente ni siquiera parte principal de la formación académica.

TS: ¿En qué tipo de formación participa la UKRN? 

MM: Estoy en un taller en este momento que realizamos en Cumberland Lodge en Windsor Great Park, que cuenta con 30 investigadores principiantes, generalmente estudiantes de doctorado y posdoctorados. , recibir capacitación en cosas como flujos de trabajo reproducibles y conservación de datos, [que] permiten a las personas volver a sus datos de hace seis meses, doce meses o dos años y recapitular muy rápidamente los resultados que generaron.

Muchas de las habilidades en las que necesitamos capacitar a las personas son cosas que no son necesariamente ni siquiera parte principal de la formación académica. Los académicos tienden a capacitarse en las habilidades básicas de la investigación como parte de su doctorado, pero a menudo tienen relativamente poca capacitación en aspectos como la gestión y el liderazgo de proyectos. Por lo tanto, abarcamos una amplia gama de elementos que van desde habilidades técnicas específicas hasta habilidades más amplias que son más transferibles.

TS: ¿Qué planes de futuro nos esperan?

MM: Una de las cosas que debemos hacer es administrar nuestro crecimiento, porque en realidad nos hemos movido increíblemente rápido. Por ejemplo, lograr que las universidades se inscribieran formalmente en UKRN era uno de nuestros objetivos del tercer año y ya lo logramos en el primer año. Así que las cosas se están moviendo mucho más rápido de lo que esperábamos, lo cual es emocionante. Pero . . . todavía eran investigadores activos, por lo que tenemos que manejar ese crecimiento con mucho cuidado. En última instancia, lo que queremos hacer es lograr que más universidades se registren formalmente dentro del Reino Unido.

Otra cosa interesante es que hemos tenido interés de otros países sobre la posibilidad de establecer una red estructurada de manera similar. . . . . No hay muchas estructuras como la nuestra que incluyan estos diferentes niveles y se centren en una perspectiva más amplia, y creo que el vínculo entre los financiadores, los editores, las instituciones y los propios investigadores es potencialmente bastante poderoso. Si podemos establecer redes estructuradas de manera similar en otros países, entonces comenzaremos a tener un marco que realmente nos permita abordar este problema a nivel global.

Uno de los principios rectores de cómo trabajamos es que tratamos de ser transparentes. Estuvimos muy contentos de compartir todo nuestro material. Si alguien está interesado en establecer una red estructurada de manera similar en su país, entonces, por supuesto, estaremos encantados de apoyarlo. Ha sido interesante, los diferentes enfoques que hemos [visto]. En algunos países, han sido los propios investigadores tratando de crear esa estructura desde cero. En otros países, ha sido más dirigido por financiadores que están interesados en crear una estructura similar desde arriba hacia abajo. Así que hay diferentes formas de hacerlo. Cada país, cada disciplina, cada universidad, cada departamento tiene su propia cultura distinta, por lo que las soluciones que se nos ocurran deben ser lo suficientemente flexibles para adaptarse a las necesidades y demandas locales.

Ver el Explosión de datos abiertos

Emily Makowski es pasante en The Scientist. Envíele un correo electrónico a emakowski@the-scientist.com.

Nota del editor: la entrevista fue editada por motivos de brevedad.