Opinión: Midiendo el impacto

FLICKR, THOMAS HAWK Actualmente, Estados Unidos gasta alrededor del 2,7 por ciento de su producto interno bruto (PIB) en investigación y desarrollo, aproximadamente la mitad del cual proviene de fuentes federales.  Esta cantidad es comparable a los gastos anuales en infraestructura de transporte y agua (3 por ciento del PIB) y en educación (5,5 por ciento). La magnitud de las inversiones requeridas para mantener la empresa científica ha dado lugar a llamados para una evaluación cuantitativa del impacto de las contribuciones de individuos e instituciones, de modo que los responsables de la formulación de políticas estén convencidos de que los recursos se están utilizando de manera eficaz.

A pesar de su importancia, si y cómo cuantificar el impacto científico sigue siendo una fuente de controversia dentro de la comunidad investigadora. Por ejemplo, la Declaración de San Francisco sobre la evaluación de la investigación ha promovido «la necesidad de eliminar el uso de métricas basadas en revistas, como los Factores de impacto de las revistas, en las consideraciones de financiación, designación y promoción». Me sorprende que un científico…

Hay una larga historia de uso de medidas basadas en bibliometría para cuantificar la producción científica y el impacto. Quienes se oponen a tales medidas, incluidos muchos científicos destacados, han instado recientemente a la comunidad científica a volver al estándar de oro de la revisión por pares. Detrás de esta recomendación está la hipótesis de que, si dos evaluadores inteligentes e imparciales leyeran los documentos de, por ejemplo, los solicitantes de un puesto docente, sacarían la misma conclusión sobre qué candidato es el mejor para el puesto.

Esta es una posición ingenua e insostenible. Cualquiera que trabaje como editor de una revista, o como miembro de un comité de selección o promoción y permanencia, sabe cuán ampliamente varían las calificaciones de los artículos, individuos o propuestas entre los revisores.  De hecho, David Kaplan y sus colegas de la Universidad Case Western Reserve han demostrado que se necesitarían decenas de miles de evaluaciones de pares independientes e imparciales para obtener una clasificación precisa. Y el número de revisores necesarios no es la única limitación de la revisión por pares como proceso de medición. Como todos los humanos, los científicos tienen opiniones sesgadas de los estudiantes, colaboradores y competidores. Lamentablemente, ser un experto no es una garantía de que esos sesgos estarán ausentes; es solo una garantía de que uno estará convencido de que tiene razón.

Los científicos ya están siendo evaluados usando medidas basadas en bibliometría como el número de citas o el índice h. Un hecho indiscutible es que la mayoría de las medidas basadas en bibliometría están fuertemente correlacionadas entre sí, lo que sugiere que capturan algo real e importante sobre el impacto de los cuerpos de trabajo.

Hay, sin embargo, dos desafíos importantes cuando abordar el impacto científico. En primer lugar, los científicos se benefician al ser percibidos como personas que tienen un gran impacto.  Por lo tanto, una medida sólida del impacto científico debe resistir la manipulación. En segundo lugar, una medida sólida del impacto debe, posiblemente, premiar la calidad sobre la cantidad. De hecho, uno de los riesgos del uso generalizado de medidas basadas en bibliometría es el cambio en los patrones de publicación de los científicos con el objetivo de inflar su propio impacto aparente. Es probable que estos esfuerzos de manipulación estén relacionados con los aumentos observados en las tasas de publicación y en prácticas cuestionables de autocitación.

Además, si bien las citas son posiblemente los indicadores más confiables del impacto científico, el número de citas de artículos individuales abarca más de cinco órdenes de magnitud, y los artículos más citados tienen cientos de miles de citas. El amplio rango de número observado de citas y los hallazgos de 2006 de Duncan Watts y sus equipos de la Universidad de Columbia sobre los mercados culturales sugieren que el proceso mediante el cual la calidad de un artículo se traduce en citas es casi seguro impulsado por la dinámica de ricos que se hacen más ricos.

Sin embargo, es posible superar estos desafíos si se posee una caracterización rigurosa de las propiedades estadísticas del número de citas de artículos científicos. Usando la forma funcional de la distribución del número de citas, se podría desarrollar un enfoque basado en principios para el desarrollo de medidas de impacto.

Mi laboratorio ha demostrado que el logaritmo del número de citas de artículos publicados en una revista convergen a un valor final dentro de unos 10 años. Sorprendentemente, la distribución del número final de citas de artículos publicados en una revista científica converge a una distribución lognormal discreta con parámetros estables y , que son análogos a los parámetros con el mismo nombre para una distribución gaussiana.  Nuestros resultados sugieren que hay una cantidad latente que se podría denotar citabilidad que determina la capacidad de un artículo para acumular citas.

Aunque carecemos de una comprensión profunda del concepto de impacto científico, nuestra creciente comprensión de la dinámica de las citas permitirá el desarrollo de medidas que sean objetivas, fáciles de calcular, resistentes a la manipulación y que fomenten comportamientos de publicación deseables. Con tales medidas en la mano, finalmente podremos descubrir las condiciones individuales e institucionales que fomentan avances científicos significativos y ayudar a los responsables políticos y al público a tener confianza en que los recursos se están utilizando de manera inteligente.

Lus A. Nunes Amaral es profesor de ingeniería química y biológica, física y astronomía, y medicina en la Universidad de Northwestern, donde codirige el Instituto de Sistemas Complejos de Northwestern.

¿Le interesa leer más?

El científico ARCHIVOS

Conviértase en miembro de

Reciba acceso completo a más de 35 años de archivos, así como TS Digest, ediciones digitales de The Scientist, artículos destacados, ¡y mucho más!Únase gratis hoy ¿Ya es miembro?Inicie sesión aquí