Opinión: El auge de los preprints no es motivo de alarma

ARRIBA: ISTOCK.COM, AXLLLL

La pandemia de COVID-19 ha provocado un cambio cultural en la forma en que la ciencia es comunicada y compartida. La publicación científica tradicional es un proceso lento y, por lo tanto, al necesitar una ruta más rápida para difundir nuevos hallazgos vitales, los científicos recurrieron a plataformas de preimpresión, que alojan artículos no revisados por pares en servidores especializados. Mis colegas y yo informamos este mes que los investigadores compartieron más del 35 por ciento de la literatura inicial sobre COVID-19 como preprints. Pero los científicos no son las únicas personas que han recurrido a las preimpresiones; descubrimos que miembros del público en general y periodistas han estado compartiendo y accediendo a preprints a niveles sin precedentes.

Con este intercambio y uso de preprints por parte de no expertos, su cobertura por parte de los medios de comunicación y el hecho de que han sido citadas como influencias directas en las intervenciones de salud pública controvertidas, se vuelve crucial que evalúemos la calidad de la literatura preliminar y nos preguntemos: ¿Podemos confiar en las publicaciones preliminares?

Problemas de confianza

Antes de la pandemia , algunos grupos expresaron mucho sobre las deficiencias percibidas y los peligros de las preimpresiones. Estas voces se han hecho más fuertes durante la pandemia y, dado que las preimpresiones se están utilizando de una manera que nunca antes se había hecho, es necesario abordar las preocupaciones válidas.

Sorprendentemente, todos estos estudios tienen el mismo conclusión: los preprints deben considerarse contribuciones científicas válidas que son comparables con la literatura revisada por pares.

Un peligro es que la ciencia no revisada por pares podría desviar las decisiones de salud pública. En un análisis de documentos de políticas, descubrimos que, fuera de una pandemia mundial, los preprints no se han utilizado con frecuencia para informar las decisiones de políticas.

Un área que, para mí, ha sido la más notoria es el uso por políticos de derecha como el ex presidente Donald Trump de ciencia defectuosa para propagar teorías de conspiración y políticas no respaldadas por evidencia. Se han secuestrado preprints para proporcionar evidencia inexacta o incluso falsa en apoyo de teorías que no tienen ningún mérito científico. Algunas de las preimpresiones más compartidas durante la pandemia se han utilizado de esta manera, incluida una preimpresión defectuosa centrada en la seroprevalencia y una preimpresión que vincula la proteína espiga del SARS-CoV-2 con el VIH, que se retractó dos días después de su publicación. Es importante tener en cuenta que los preprints no son los únicos culpables de difundir una investigación tan cuestionable y defectuosa; quizás los casos más notorios son los de Didier Raoult, cuyo artículo publicado sobre la hidroxicloroquina provocó una ola de información errónea, y el ahora infame escándalo de Surgisphere (que abarcó tanto preprints como artículos publicados en revistas de alto perfil). Juntos, estos incidentes han dañado la confianza del público en la ciencia, en un momento en que la confianza era quizás más necesaria que nunca.

Además de estas preocupaciones, los científicos tienen reservas sobre el uso de preprints en los medios y los opositores a los preprints a menudo citan problemas de calidad percibidos debido a la falta de revisión por pares. Sin embargo, no hay evidencia directa que respalde las afirmaciones de que los preprints son de menor calidad que los artículos revisados por pares.

Confíe en los preprints

Al evaluar la calidad de un estudio científico, el oro estándar sería repetir los experimentos para ver si los resultados son reproducibles. Sin embargo, esto es costoso, requiere mucho tiempo y es difícil encontrar una revista dispuesta a publicar los resultados. En ausencia de replicación, debemos confiar en el proceso de revisión por pares. Por lo tanto, al comparar los preprints con sus versiones publicadas que se han sometido a una revisión por pares, podemos evaluar cuánto cambia un artículo determinado y, por lo tanto, qué tan confiable era originalmente ese artículo.

Este ha sido el enfoque adoptado por varios investigadores recientemente, incluyéndonos a nosotros. Otros grupos han examinado el corpus de preprints más amplio, mientras que nosotros nos enfocamos en la literatura preliminar de COVID-19 temprana. Un estudio, publicado por primera vez como preprint en 2019, evaluó la calidad de los informes entre preprints y artículos publicados. Sus métricas de informes incluían componentes clave subyacentes a los artículos científicos, como la disponibilidad de datos y las declaraciones de conflictos de intereses. En general, los autores encontraron que aunque los artículos revisados por pares tenían una mejor calidad de informes que los preprints, la diferencia era pequeña. Posteriormente, un equipo independiente apoyó estos datos en una muestra de mayor tamaño.

Más recientemente, un equipo de investigación independiente realizó una comparación integral del procesamiento del lenguaje natural de las versiones preimpresas y publicadas de los artículos. Una vez más, este equipo llegó a la conclusión de que los cambios tras la publicación son mínimos. en un pequeño subconjunto de 200 preprints compartidos en los primeros cuatro meses de la pandemia. Enfocamos nuestro estudio en las conclusiones clave dadas y encontramos que para el 85 por ciento de los artículos de COVID-19 que evaluamos, no hubo cambios en la conclusión luego de la publicación, y más del 94 por ciento de los artículos que no son de COVID no tuvieron cambios en sus conclusiones. . 

Sorprendentemente, todos estos estudios tienen la misma conclusión: los preprints deben considerarse contribuciones científicas válidas que son comparables a la literatura revisada por pares. Esta conclusión viene con una advertencia importante: hasta ahora ningún estudio ha investigado la comparabilidad de los preprints que nunca se publican con los que se publican posteriormente. Con más del 70 por ciento de la literatura de preprints finalmente publicada, esto representa una minoría de preprints; sin embargo, estamos planificando trabajos futuros para abordar directamente este problema restante.

Siempre hay excepciones y jugadores malos, ya sea que compartan su trabajo como una preimpresión o un artículo publicado. Pero, ¿podemos confiar en los preprints como un mecanismo para difundir rápidamente la ciencia vital durante una pandemia? La respuesta parece ser un sí muy claro, al menos en la medida en que confiamos en la literatura revisada por pares.

Jonny Coates es investigador postdoctoral en William Harvey Research Institute y Queen Mary, Universidad de Londres y se puede encontrar en Twitter @JACoates91. Es miembro de preLights y de la comunidad ASAPbio.