Se alcanza un acuerdo sobre las reformas de la evaluación de la investigación
ARRIBA: Istock.com, Olivier Le Moal
Si se acepta un conjunto de reformas de evaluación de la investigación recientemente finalizadas, los científicos europeos podrían verse libres de publicar o perecer modelo eso ha sido durante mucho tiempo la ley de la tierra. El documento, llamado Acuerdo sobre la Reforma de la Evaluación de la Investigación, fue facilitado por la Comisión Europea e incluye aportes de institutos de investigación, asociaciones de investigadores y financiadores, quienes juntos han producido una hoja de ruta de principios rectores para reformar la forma en que los científicos y su trabajo deben ser evaluados para financiación, premios, prioridades de investigación y contratación en toda Europa.
Existe un amplio consenso de que el sistema actual no está funcionando, según Stephane Berghmans, director de investigación e innovación de la Asociación Europea de Universidades ( EUA), grupo que participó en la redacción del acuerdo. Agrega que este es el caso no solo en las universidades, sino en la comunidad [científica] en general, y que con estas reformas, los investigadores y las universidades buscan, en cierto sentido, recuperarlo.
En la actualidad, para obtener fondos para la investigación, los científicos, incluidos los profesores titulares y titulares, los científicos investigadores y los académicos de carrera temprana, son evaluados con frecuencia en función de la cantidad de artículos que publican y en qué revistas.
los nuevos criterios propuestos para evaluar la investigación reconocerán, en cambio, una gama más amplia de contribuciones a la ciencia y la diversidad de carreras científicas; reformular las evaluaciones para incluir evaluaciones de pares; abandonar lo que el documento llama el uso inapropiado de las métricas de publicaciones y revistas como medida del éxito; y evitar el uso de clasificaciones internacionales de organizaciones de investigación al evaluar investigadores individuales.
Este marco es el resultado de un largo período de negociaciones. Tras un informe de alcance de 2021 de la Comisión Europea (que involucró a muchas partes interesadas de toda Europa), los representantes de EUA y Science Europe, una asociación de agencias de financiación y organizaciones de investigación europeas, se unieron a la asesora política independiente Karen Stroobants para redactar un acuerdo sobre cómo reformar la evaluación de la investigación. Si bien la Comisión Europea facilitó la redacción, en total, unas 20 partes interesadas dieron su opinión sobre el texto como parte de un grupo central, mientras que otras 350 partes interesadas de más de 40 países expresaron sus opiniones en las reuniones de la asamblea. El acuerdo en sí mismo es un esfuerzo colectivo, que va más allá de decir que ya no queremos esto, sino que define hacia dónde queremos ir, dice Berghmans.
Los diez compromisos de la reforma de la evaluación de la investigación
El acuerdo final, que se publicó el 20 de julio y puede ser firmado por los interesados en adoptar las reformas a partir del 28 de septiembre, plantea cuatro compromisos fundamentales. El primero incluye un reconocimiento de la diversidad de contribuciones y carreras en investigación, premiando actividades como la enseñanza, la supervisión y la tutoría en lugar de centrarse únicamente en las publicaciones de revistas. El segundo compromiso es basar la evaluación de la investigación principalmente en la evaluación cualitativa para la cual la revisión por pares es central, afirma el documento, poniendo el foco en la calidad de la investigación en lugar de la cantidad. En tercer lugar, las organizaciones se comprometen a abandonar los usos inapropiados de las métricas basadas en revistas y publicaciones para la evaluación de la investigación, como el factor de impacto y el índice h. Y finalmente, el cuarto compromiso central es evitar evaluar a investigadores individuales en función de las clasificaciones o el prestigio de sus organizaciones de investigación. en su trabajo comprometiendo recursos, creando conciencia sobre la necesidad de tales reformas y evaluando y comunicando los cambios propuestos. Un compromiso también detalla la formación de una coalición de organizaciones firmantes, que pretende servir como un espacio para el aprendizaje mutuo y la colaboración que ayudará a las organizaciones a implementar los compromisos centrales.
Ya existen iniciativas similares, como como la Declaración de San Francisco sobre Evaluación de la Investigación (DORA) de 2012 en los EE. UU. o el Manifiesto internacional de Leiden para métricas de investigación de 2015. Pero el nuevo acuerdo va aún más allá, según Toma Susi, físico de la Universidad de Viena que participó en redacción del nuevo acuerdo como representante de la Iniciativa para la Ciencia en Europa (ISE). DORA. . . es la declaración más importante, pero sigue siendo solo una declaración, le dice Susi a The Scientist, señalando que el nuevo acuerdo establece principios que siguen en gran medida lo que ha sido la discusión durante mucho tiempo, pero luego aumenta esos principios. con compromisos concretos.
Para Stroobants, el compromiso más importante es el primero, que reconoce la variedad de contribuciones de otros tipos de investigadores, incluidos los científicos de datos y los ingenieros de software. Actualmente, los investigadores se encuentran en un entorno muy competitivo y, al mismo tiempo, las definiciones de éxito son muy estrechas. . . . Para mí personalmente, la clave es empezar a reconocer mucho más la gran diversidad de contribuciones que hacen los investigadores, para cambiar lo que significa el éxito.
Vinciane Gaillard, directora adjunta de Investigación e Innovación de EUA , ve el acuerdo como el comienzo de grandes cambios dentro de la ciencia. La visión a largo plazo es sobre el cambio cultural, le dice a The Scientist. No olvidemos que al final, la contribución [de la investigación y los investigadores] a la sociedad es mucho más que el número de publicaciones y dónde se han publicado.
Riesgos y oportunidades para los firmantes
En el futuro, se pedirá a las organizaciones que firmen el acuerdo que ayuden a desarrollar la Coalición, primero estableciendo estructuras organizativas y luego reuniéndose en una asamblea constitutiva hacia finales de año para acordar la forma organizativa de la Coalición. Los compromisos son el marco, y dentro de este marco, las instituciones, los financiadores [y] toda la comunidad investigadora pueden definir cómo [quieren] que se haga la evaluación de la investigación, dice Berghmans. No será un solo sistema, . . . podría haber variaciones según el tipo de [organizaciones], diferencias entre disciplinas, incluso entre países.
A pesar de las ideas progresistas que presenta el acuerdo, todavía hay áreas de debate, que los cambios propuestos podrían tener en los investigadores principiantes, según Sebastian Dahle, vicepresidente del Consejo Europeo de Candidatos a Doctorado e Investigadores Junior (Eurodoc), una organización que ayudó a redactar el informe de alcance y ha manifestado su interés en firmar el acuerdo.
Tener un cambio completo de todo el sistema representa un riesgo bastante tremendo, específicamente para los investigadores que se inician en su carrera y que están registrados en el sistema, Dahle le dice a The Scientist. En particular, es posible que las actividades que actualmente se recompensan en las evaluaciones ya no tengan el mismo peso en un sistema reformado, y el impacto total de estos cambios en su trayectoria profesional sigue siendo una pregunta abierta. Por lo tanto, Dahle dice que es importante que los investigadores principiantes tengan un asiento en la mesa de la Coalición. Tener la flexibilidad para realmente echar un vistazo a eso, tener los mecanismos para observar lo que está sucediendo. . . y luego adaptar esa es una muy buena manera de abordar esto. carreras La idea es tenerlos en primera línea en la Coalición, para llamar la atención sobre lo que se debe hacer y cómo hacerlo, para evitar consecuencias no deseadas, escribe en un correo electrónico a The Scientist. Y debido a que los investigadores son los que están siendo evaluados, Susi dice que tiene sentido que sean centrales para decidir cómo se ve la reforma en la práctica.
Elizabeth Gadd, gerente de políticas de investigación en la Universidad de Loughborough y presidenta del Grupo de Evaluación de la Investigación de la Red Internacional de Gerentes de Investigación (INORMS), que participó en las asambleas, le dice a The Scientist en un correo electrónico que la efectividad del nuevo acuerdo ahora depende de si los institutos realmente lo adoptan. Una vez adoptado, creo que tiene la ventaja de que guía a los signatarios a través de una implementación exitosa a través de una serie de compromisos de apoyo y el desarrollo de comunidades de práctica y eventos de aprendizaje mutuo, dice. Suponiendo que obtengan la masa crítica y continúen participando a nivel internacional, tiene el potencial de tener un impacto significativo. tal iniciativa.
Estoy esperanzado porque hay mucho impulso. . . . No creo que haya habido un momento en mi carrera en el que haya sentido con tanta fuerza que la gente estaba realmente dispuesta a seguir adelante con esto, dice Stroobants. Para Susi, es ahora o nunca. Desde mi punto de vista, esta es la única oportunidad. Nunca había visto una oportunidad como esta, y no creo que haya ninguna alternativa realista en las cartas.
Corrección (22 de agosto): una versión anterior de esta historia decía que el acuerdo se publicó en julio. 22, pero fue publicado el 20 de julio. El Científico lamenta este error.