Una forma de solucionar los problemas de reproducibilidad: Formar mejor a los científicos

Leonard Freedman, GBSI JUDY LICHT, GSBI Leonard Freedman tiene la misión de mejorar la ciencia. Él es uno de los científicos que ayudó a calcular una estadística ahora notoria sobre el desperdicio en la investigación preclínica, a saber, que $28 mil millones en fondos de investigación se gastan cada año en investigaciones irreproducibles, debido a problemas con reactivos biológicos, errores de laboratorio, errores mal planificados. experimentos.

Para ayudar a resolver la «crisis de reproducibilidad», La última ambición de Freedman es capacitar a los estudiantes en los principios fundamentales del diseño experimental. La organización que dirige, el Global Biological Standards Institute, recibió recientemente una subvención de 2,34 millones de dólares para lanzar el proyecto, titulado Producción de experimentos reproducibles mediante la promoción del diseño experimental inverso. Habló con El científico sobre dónde fallan las cosas en las configuraciones experimentales y cómo su proyecto ayudará a resolver el problema.

El científico: ¿En qué parte del proceso científico van mal las cosas en lo que respecta a la irreproducibilidad?

Leonard Freedman: Es multifacético, no va …

Esa es una de las razones por las que nos hemos centrado en soluciones en torno a reactivos y materiales de referencia, pero también pensamos mucho en la formación, y en el contexto de la formación, volver y enseñar a estudiantes y posdoctorados, y incluso los primeros IP, la importancia de un diseño experimental cuidadoso.

Yo diría que, junto con los reactivos o el uso indebido o la falta de autenticación de los reactivos experimentales, la forma deficiente en que hacemos el análisis y el informe de datos, el estudio diseño, es un problema tan grande como cualquiera de esos.

TS: ¿Hay áreas de ciencias de la vida, o tipo s de experimentos, que cree que son los más afectados por los problemas de reproducibilidad?

LF: Más tipos de experimentos in vitro que involucran líneas celulares y reactivos de anticuerpos que sabemos que son problemáticos podrían ser más susceptible a problemas relacionados con la irreproducibilidad. Pero . . . No generalizaría de esa manera, porque también hay problemas tremendos con el uso de modelos de mouse.

No creo. . . podría señalar cualquier cosa en particular dentro del contexto de la investigación biológica básica y decir que esta área es peor que otra área. Sin mencionar, algo que realmente no hemos estudiado, pero en lo que he estado pensando más y más. . . el tipo de incentivos que impulsan a las personas. Por ejemplo, tengo que publicar este artículo, porque tengo que conseguir esta subvención. Y se ha vuelto cada vez más intenso y competitivo, y, ya sabes, los científicos son seres humanos como todos los demás, y se dejan llevar por este tipo de, la gente los llama incentivos perversos. . . . Creo que ese es un gran problema.

TS: ¿Qué tan importante es el diseño experimental cuando se trata de irreproducibilidad en la investigación?

LF: Yo diría que, junto con los reactivos o el uso indebido o la falta de autenticación de los reactivos experimentales, la forma deficiente en que hacemos el análisis y la elaboración de informes de datos, el diseño del estudio, es un problema tan grande como cualquiera de esos.

Hemos estado trabajando en algunas soluciones tangibles para problemas con reactivos, como líneas celulares y anticuerpos. Creo que cuando se trata de algo como diseño de estudio, diseño experimental, se trata realmente de capacitación, se trata realmente de volver a los primeros principios y enseñar, tal vez en un sentido más formal, enseñar a los estudiantes, enseñar a los posdoctorados, ya sabes, los fundamentos clave en torno a cómo diseñar un buen experimento. Ese fue el verdadero impulso de esta subvención que recibimos. Con la expectativa de que si las personas están mejor preparadas para diseñar experimentos, entonces llevarán a cabo los experimentos y, casi por definición, eso debería mejorar la reproducibilidad de un estudio determinado.

Consulte Las reglas de replicación

TS: ¿Dónde está fallando la capacitación o enseñanza actual en diseño experimental en este momento?

LF : Esta es mi propia perspectiva personal: creo que a los estudiantes de posgrado y posdoctorados se les enseña a un nivel de aprendizaje. Los cursos son más formales, algo teóricos, enseñan sobre, ya sabes, conceptos biológicos, conceptos químicos o lo que sea. Y luego entras en un laboratorio, y comienzas, y en ese punto es más una relación de aprendizaje con tu mentor. . . . ¿Y hay un tipo de formación formalizado y didáctico en torno a las cosas fundamentales? ¿Alrededor del diseño del estudio o el análisis de datos y la presentación de informes? ¿O la importancia de validar sus reactivos? Creo que no.

Lo que estábamos sugiriendo es que volvamos a lo básico, por así decirlo, y realmente volvamos a estos principios fundamentales en términos de formación de estudiantes y posdoctorados. Y si lo hacemos, creo que mejoraremos la calidad de la investigación.

¿Existe un tipo de capacitación formalizado y didáctico sobre cosas fundamentales? ¿Alrededor del diseño del estudio o el análisis de datos y la presentación de informes? ¿O la importancia de validar sus reactivos? Creo que no.

TS: Quiere abordar estos problemas adoptando lo que llama un enfoque de ingeniería inversa para el diseño experimental. ¿Puedes explicar cómo eso resuelve parte del problema?

LF: En pocas palabras, la idea en torno a un diseño experimental inverso es que comenzamos con el producto. Comenzamos esencialmente con los datos que se generarán utilizando métodos experimentales específicos. Y en esta subvención en particular nos enfocamos en imágenes celulares, detección de alto rendimiento y modelado de enfermedades. . . . En lugar de empezar desde el principio, hablando más en términos abstractos, estás tomando algo tangible, estás tomando el producto del experimento y trabajando hacia atrás para enseñar usando ejemplos muy, muy específicos que están frente a los estudiantes, para enseñar los conceptos, más bien que . . . siendo esto completamente abstracto.

Ver The Great Big Clean-Up

TS: En general, ¿cómo espera el proyecto para ayudar a la irreproducibilidad en la investigación?

LF: Creo que el impacto real de nuestro trabajo y el trabajo de otras personas en el espacio de la reproducibilidad realmente podría ser con . . . la futura generación de científicos que están surgiendo y realmente todavía se están capacitando.

Creo que la verdadera oportunidad radica en una mejor capacitación, con énfasis en cuestiones fundamentales como la validación de reactivos, el diseño del estudio y los datos. análisis. Estas son cosas que todos damos por sentado, pero tal vez no deberíamos estarlo.

Nota del editor: la entrevista fue editada por razones de brevedad.

¿Interesado en leer más?

El científico ARCHIVOS

Hazte miembro de

Recibe acceso completo a más de 35 años de archivos, así como TS Digest, ediciones digitales de The Scientist, artículos destacados, ¡y mucho más!Únase gratis hoy ¿Ya es miembro?Inicie sesión aquí