Estudio: La revisión por pares predice el éxito

WIKIMEDIA, AREYNEl sistema de puntuación de revisión por pares de los Institutos Nacionales de Salud (NIH), que se utiliza para seleccionar propuestas de subvenciones para financiamiento, es un predictor preciso de cuán impactante será la investigación propuesta en última instancia. , según un análisis publicado hoy (23 de abril) en Science. En general, los solicitantes con las subvenciones de mayor puntuación publicaron la mayor cantidad de artículos, obtuvieron la mayor cantidad de citas y obtuvieron la mayor cantidad de patentes, según descubrieron los investigadores.

“Este es el documento de política científica más importante en mucho tiempo ,” dijo Pierre Azoulay de la Sloan School of Management del MIT, quien no participó en la investigación. Cuando se trata de la revisión por pares, «la mayoría de las pontificaciones que escuchas, la mayoría de las críticas, los editoriales, las sugerencias de reforma, han estado notablemente libres de datos». Así que este documento, en lo que a mí respecta, es realmente una bocanada de aire fresco».

«[Como] resulta», agregó, «los NIH están haciendo un trabajo bastante bueno».

El proceso por…

Otra preocupación es si el proceso de revisión por pares realmente funciona. Hay muy poca investigación previa sobre la eficacia de los comités de revisión por pares para decidir qué solicitudes de subvenciones financiar y, sin embargo, ese es el principal mecanismo mediante el cual se asignan los fondos para la ciencia en los Estados Unidos e internacionalmente, dijo la coautora del estudio, Leila Agha, de la Universidad de Boston. University Questrom School of Business.

Para evaluar la eficacia del proceso de revisión por pares de NIH, Agha y Danielle Li de Harvard Business School contaron el impacto científico de más de 130 000 proyectos financiados por las subvenciones R01 de todos los agencias institutos con los puntajes que estos proyectos recibieron durante la revisión. Agha y Li evaluaron el impacto científico de acuerdo con la cantidad de publicaciones que reconocieron el financiamiento de la subvención, las citas de esas publicaciones y las patentes que citaron la subvención en sí o una publicación financiada por la subvención. En general, encontraron que cuanto mejor era la puntuación que había asignado el comité [de revisión por pares], más probable era que la subvención resultara en una gran cantidad de publicaciones, o en publicaciones muy citadas, o incluso . . . en una investigación que finalmente se patenta, dijo Agha a The Scientist. Los resultados sugieren que los comités están discriminando con éxito incluso entre solicitudes muy sólidas.

Esta correlación persistió incluso después de que Agha y Li tuvieran en cuenta las diferencias entre las solicitudes, como el año en que se financió la subvención o los investigadores principales. credenciales, incluido el historial de publicación, la institución y el historial de financiación anterior. Esto demostró que el mérito intrínseco de una idea científica es más valioso que la persona real, dijo Aruni Bhatnagar, profesora de medicina en la Universidad de Louisville que no participó en el trabajo.

Los resultados ilustran la capacidad de los revisores de los NIH para identificar qué proyectos serán los más prometedores, dijo Brian Jacob, profesor de política educativa y economía en la Universidad de Michigan. Habría sido un poco preocupante, añadió, si no lo hubieran hecho bien.

Este estudio no fue el primer intento de evaluar el enfoque de financiación de las agencias federales. El propio Michael Lauer de los NIH, director de la división de ciencias cardiovasculares del Instituto Nacional del Corazón, los Pulmones y la Sangre (NHLBI), no encontró previamente ninguna correlación entre el puntaje percentil de la revisión por pares y el impacto científico posterior en un análisis de las subvenciones financiadas por el NHLBI. Lauer sugirió que esto se debió a que su análisis analizó solo las solicitudes de subvenciones nuevas, mientras que Agha y Li examinaron todas las subvenciones nuevas y renovadas.

La literatura sugiere que los expertos hacen un trabajo mucho mejor al evaluar el desempeño pasado y presente que al predecir qué va a suceder en el futuro, dijo Lauer a The Scientist. Agha señaló, sin embargo, que incluso cuando ella y su colega separaron las subvenciones nuevas de las renovadas, vieron resultados similares.

Agha y Li, que incluyeron las subvenciones de todos los institutos NIH, analizaron una mayor cantidad de subvenciones que Lauer (137 215 versus 1 492) durante un período de tiempo más largo. Esto también puede haber contribuido a las aparentes discrepancias entre los estudios. Dejando a un lado las diferencias, el mensaje crítico, dijo Lauer, es que la conversación sobre la revisión por pares de las subvenciones se está moviendo hacia esta esfera de ciencia rigurosa. En lugar de tener argumentos sobre opiniones. . . estaban debatiendo datos reales.

Incluso si la revisión por pares es un predictor satisfactorio del éxito científico futuro, eso no significa que el proceso no se pueda acortar y mejorar, dijo Jacob.

Los resultados de este Los últimos análisis indican que tales mejoras se pueden construir a partir de una base sólida, dijo Azoulay. No estamos partiendo de una situación en la que la revisión por pares es un completo desastre y en la que bien podríamos estar sacando proyectos de un sombrero o lanzando dardos, dijo. Al refinar y reformar el proceso, agregó, no habrá necesidad de tirar al bebé con el agua del baño.

D. Li y L. Agha, Grandes nombres o grandes ideas: ¿Los paneles de revisión por pares seleccionan las mejores propuestas científicas? Science, 348:434-438, 2015.

¿Interesado en leer más?

El científico ARCHIVOS

Conviértase en miembro de

Reciba acceso completo a más de 35 años de archivos, así como a TS Digest, ediciones digitales de The Scientist, artículos destacados, ¡y mucho más!Únase gratis hoy ¿Ya es miembro?Inicie sesión aquí