Análisis de citas negativas
PIXABAY, OPENCLIPARTVECTORSDurante el curso de sus carreras, muchos científicos critican el trabajo de otros, señalando fallas, inconsistencias o contradicciones, en la literatura. Esto es parte del progreso científico. Un estudio de prueba de concepto ahora describe una herramienta de investigación para reconocer estas llamadas citas negativas, lo que hace posible contextualizarlas y estudiarlas en una escala mayor que antes.
Según los resultados, publicados hoy (26 de octubre) en PNAS, los periódicos pagan solo una leve penalización a largo plazo en el número total de citas que reciben después de una negativa. El hecho de que los artículos criticados continúen obteniendo citas con el tiempo sugiere que es mejor recibir atención negativa que ninguna.
Hasta ahora, la mejor forma de estudiar las citas negativas era leer y codificar cada artículo individual— algo que Jeffrey Furman, profesor asociado de estrategia e innovación en la Universidad de Boston, dijo que intentó antes, mientras analizaba el impacto de los estudios retractados….
Se propone comprender con qué frecuencia se critican los estudios en la literatura. y las implicaciones de dichos informes, Nicola Lacetera del Instituto de Gestión e Innovación de la Universidad de Toronto y sus colegas desarrollaron un algoritmo de procesamiento de lenguaje natural a partir de un conjunto de entrenamiento de 15 000 citas extraídas de los estudios del Journal of Immunology, categorizando las citas como negativas u objetivas con la ayuda de cinco expertos en inmunología.
El grupo de Laceteras utilizó entonces la herramienta para analizar 15.731 artículos de la misma revista publicados entre 1998 y 2007. De 146 891 artículos únicos citados en estos artículos, alrededor del 7 por ciento recibió una o más citas negativas. No es sorprendente que los artículos tuvieran más probabilidades de recibir una cita negativa dentro de los primeros años de publicación. Además, esos estudios citados negativamente recibieron más citas en general.
Los resultados tienen sentido y encajan con lo que espero, dijo el bioestadístico Gonalo Abecasis de la Universidad de Michigan en Ann Arbor, quien no participó en la investigación. . Por lo general, cuando se toma el tiempo para escribir y decir: Estos [investigadores] se equivocaron, lo hace con referencia a documentos que de otro modo son de alto perfil y que la gente piensa que probablemente sean buenos.
Quizás no sea sorprendente , las citas negativas parecieron ocurrir con menos frecuencia entre pares de artículos escritos en coautoría por científicos que estaban más cerca geográficamente. Si está en el mismo departamento, el costo social de una citación negativa puede ser demasiado alto, y cuando puede interactuar personalmente, puede haber otras formas más informales de expresar su crítica, dijo Lacetera.
Aunque la herramienta se centró en en una revista de inmunología, Lacetera dijo que podría adaptarse fácilmente para el estudio de publicaciones en otros campos. También podría usarse como un indicador de qué preguntas de investigación están recibiendo mayor atención en un momento dado. Las citas negativas pueden incluso aumentar la confiabilidad de los resultados de la investigación a largo plazo dentro de un campo determinado, dijo Lacetera, y eso es algo que espera medir.
Otros ya están pensando en cómo pueden usar esta herramienta. En particular, algunos notaron su potencial para mejorar el estudio de las retractaciones.
Furman, por ejemplo, espera descubrir por qué los artículos retractados continúan siendo citados, ya sea porque los investigadores desconocen las retractaciones o las están citando. como reconocimiento.
Pierre Azoulay del MIT, colega del departamento del coautor del estudio Christian Catalini pero que no participó en el trabajo, señaló que la herramienta podría permitir a los investigadores preguntar si el número de citas negativas de un artículo recibe puede predecir si se retractará. Eso suena a ciencia ficción, pero al menos podemos intentarlo, dijo. Esto me emociona mucho.
En términos más generales, agregó Azoulay, este artículo es el presagio de lo que está por venir: al combinar conjuntos de datos realmente grandes con nuevas técnicas analíticas como el aprendizaje automático, podemos obtener significado de esos artículos. pares que están vinculados a través de citas.
Eso es extremadamente prometedor para todo este floreciente campo que hace de la ciencia misma un objeto de estudio, dijo.
C. Catalini et al., La incidencia y el papel de las citas negativas en la ciencia, PNAS, doi:10.1073/pnas.1502280112, 2015.
¿Interesado en leer más?
El científico ARCHIVOS
Hazte miembro de
Recibe acceso completo a más de 35 años de archivos, así como TS Digest, ediciones digitales de The Scientist, artículos destacados, ¡y mucho más!Únase gratis hoy ¿Ya es miembro?Inicie sesión aquí