Preguntas y respuestas: Un enfoque aleatorio para otorgar subvenciones

ARRIBA: Fundación Novo Nordisk

La Fundación Novo Nordisk, uno de los financiadores privados de investigación científica más grandes del mundo, anunció el mes pasado que comenzaría a emplear un sistema de aleatorización parcial para financiar algunos tipos de proyectos de investigación. Durante los próximos tres años, la agencia de financiación con sede en Copenhague utilizará una combinación de selección de comités y un sistema de lotería para elegir a algunos de los beneficiarios de sus subvenciones para proyectos de $500 000 en los campos de la biomedicina, la biotecnología y las ciencias naturales y técnicas, así como como sus subvenciones de sinergia interdisciplinaria exploratoria de $ 800,000. Juntas, estas subvenciones comprenden aproximadamente el 10 por ciento de la financiación total de proyectos de investigación de la organización, dice Lene Oddershede, vicepresidenta sénior de ciencias naturales y técnicas de la Fundación Novo Nordisk, que supervisa el proceso de financiación de subvenciones. Ella dice que espera que el sistema de aleatorización parcial reduzca el sesgo consciente e inconsciente en el proceso de selección del comité y mejore las desigualdades de financiación.

Creo que la mayoría de los investigadores quieren ver que las solicitudes se traten de manera justa y en de manera transparente, dice Oddershede. Los científicos también quieren asegurarse de que se financie la mejor investigación, por supuesto, dice, pero ¿cuál es la mejor investigación?

En Dinamarca, el 90 % de la financiación se destina solo al 20 % de los investigadores, y una proporción similar La concentración existe en muchos países. Según estudios recientes en los Estados Unidos, por ejemplo, las desigualdades en el financiamiento han aumentado en la última década. En 2020, el 1 por ciento de los investigadores más financiados recibió el 10 por ciento de los fondos de la subvención para proyectos de investigación (RPG) de los Institutos Nacionales de la Salud, un aumento del 2 por ciento desde 2013, mientras que la mitad de los investigadores con menos fondos recibió solo el 20 por ciento de los financiación total de RPG, una cifra que se ha mantenido estática durante la última década. Y el año pasado, los investigadores blancos, cisgénero, al final de su carrera y los hombres recibieron financiamiento con más frecuencia que las mujeres, los investigadores al principio de su carrera y los miembros de otros grupos raciales o los investigadores latinos.

Ver Innovaciones biomédicas de mujeres con menos probabilidades de ser adoptadas: estudio

Una lotería parcial puede aliviar la tendencia de los miembros del comité a favorecer a los investigadores establecidos, dice Oddershede. Novo Nordisk también espera que la aleatorización conduzca a la financiación de más proyectos de alto impacto y aumente la diversidad de su grupo de selección. La fundación planea recopilar información sobre cómo el sistema de aleatorización parcial impactó los tipos de proyectos financiados durante los primeros tres años.

El científico habló con Oddershede sobre el nuevo paso de aleatorización parcial y por qué la fundación decidió instituirla.

Lene Oddershede, vicepresidenta sénior de ciencias naturales y técnicas de la Fundación Novo NordiskFundación Novo Nordisk

El científico: ¿Qué es la aleatorización parcial de la financiación y cómo la está empleando?

Lene Oddershede: Una aleatorización parcial significa que no es una aleatorización completa, lo que sería una lotería pura . No hacemos eso porque todavía necesitamos tener calidad en las aplicaciones que admitimos.

Si recibimos un montón de aplicaciones, entonces tenemos un comité de expertos formado por profesores con experiencia relevante. . . leer las aplicaciones. Ellos califican. . . y priorizar las aplicaciones. Entonces, normalmente, están de acuerdo en que se debe financiar una cierta fracción de las solicitudes, sin duda. Para simplificar, digamos que tenemos 100 aplicaciones. Y digamos que el comité está de acuerdo en que 10 de ellos deberían recibir financiamiento. El comité también está de acuerdo en que otro, digamos, el 20 por ciento tiene una alta calidad y debería financiarse, si hubiera suficientes fondos. Pero por lo general, la situación es que hay más proyectos financiables que financiación. Luego, el comité debe priorizar entre este 20 por ciento, que es lo que llamamos la zona gris. Así que en esa zona gris, argumentan. Por lo general, aquí es donde el comité pasa la mayor parte de su tiempo en una reunión de decisión de financiamiento. . . . En esa zona gris, ahora estamos haciendo el experimento.

Si el comité ha decidido que estas solicitudes [que] están en la zona gris tienen la calidad suficiente para ser financiables, entonces hacemos una lotería. Entonces, supongamos que podemos financiar el 20 por ciento [del total de solicitudes], entonces, en este caso, [para] aquellos que ingresan a la zona gris, habrá un 50 por ciento de posibilidades de que sean elegidos por sorteo. Esa es la idea detrás de la aleatorización parcial.

Tenemos un período de prueba de tres años. Y en esos tres años, ejecutamos dos procesos en paralelo. Uno de ellos es una aleatorización parcial, que acabo de explicar. El otro es un proceso completamente normal. Tendremos dos conjuntos de datos, uno seleccionado por aleatorización parcial y el otro seleccionado por el método normal del comité. Y después de tres años, íbamos a comparar esos dos conjuntos de datos y preguntarnos: ¿qué logramos con esto? ¿Fue mejor la aleatorización parcial para quizás eliminar algunos de los sesgos inconscientes? ¿Tuvimos más proyectos de alto riesgo y alta ganancia?

 TS: ¿Qué subvenciones planea financiar con aleatorización parcial?

LO: Nuestros tipos más pequeños de becas de investigación, aquellas valoradas en alrededor de medio millón de dólares estadounidenses [en total durante tres años] y, en particular, aquellas que son interdisciplinarias. Si hace un trabajo interdisciplinario, entonces es muy difícil para los miembros del comité priorizar estos proyectos. Resulta realmente difícil para un investigador juzgar una aplicación que tiene una gran parte de la ciencia arraigada en otra disciplina.  

TS: ¿Por qué la Fundación Novo Nordisk está aleatorizando parcialmente el proceso de financiación?

LO: La razón estamos haciendo esto es para disminuir el sesgo. . . . También buscamos ser menos conservadores y más valientes en las decisiones que tomamos.

Tenemos la obligación de esforzarnos constantemente por ser mejores en la concesión de subvenciones y esforzarnos constantemente por conceder subvenciones sin prejuicios, conscientes o inconscientes. Puede haber sesgos de género, sesgos de edad, puede haber sesgos contra ciertas instituciones o ciertas ciudadanías. Estos sesgos podrían ser en términos de área científica: un profesor típico tiende a estar más entusiasmado con el tipo de investigación que realiza. Puede haber todo tipo de sesgos. Algunos de estos son conscientes y algunos de estos son inconscientes. Anticiparía que el proceso de aleatorización parcial también mitigaría los sesgos raciales.

TS: ¿Qué investigación respalda el uso de aleatorización parcial para financiar solicitudes de subvenciones?

LO: Es parcialmente un impulso de la comunidad investigadora. Por ejemplo, la Real Academia Danesa de Ciencias y Letras publicó un libro blanco [descarga de pdf] en el que recomendaba a las instituciones de financiación que consideraran cierto grado de aleatorización en la concesión de subvenciones. Pero además, ya existen esquemas similares, digamos de VolkswagenStifTung en Alemania. No lo hacen exactamente como lo hacemos nosotros, pero es bastante similar, y hasta ahora han tenido una muy buena experiencia. Y las comunidades de investigación están realmente felices por ello. Además, el Swiss Research Council ha implementado una aleatorización parcial en muchos de sus instrumentos.

Ahora, usted es de los EE. UU., probablemente se preguntará, ¿qué pasa con las agencias de financiación de los EE. UU.? Y la respuesta no es que yo sepa.

TS: ¿Cree que este proceso podría ser adoptado por otras agencias de financiación?

LO : Definitivamente. Hasta el momento, no hay muchos datos sobre este proceso. Es por eso que también tratamos de aumentar la cantidad de datos sobre la aleatorización parcial. Esa es la razón por la que creamos estos dos conjuntos de datos independientes, que luego podríamos comparar. De hecho, implementamos este esquema en programas en los que recibimos, digamos, 500 solicitudes. Recibimos una gran cantidad de solicitudes, y debido a que tenemos grandes estadísticas, debido a que tenemos los dos conjuntos de datos independientes, luego de ese período de prueba, podemos realmente. . . ser cuantitativo acerca de la calidad de la aleatorización parcial. Este es un enfoque científico para decir si es realmente mejor o no?

TS: ¿Cuáles son las métricas que usará para comparar sus dos muestras?

LO: Las medidas de impacto que vamos a ver serían la distribución por género, el nivel de carrera, la afiliación institucional, el campo que se financia. . . ese es otro objetivo: también tratamos de financiar nuevos campos de investigación. . . . Por supuesto, íbamos a utilizar las métricas más típicas, como citas, número de publicaciones, el impacto de las revistas en las que aparecen [las publicaciones] y las redes sociales, etcétera. Pero, por supuesto, sería difícil [ver mucho en esas métricas] después de tres años, porque gran parte de la investigación tarda un poco más antes de tener un impacto importante, por ejemplo, en las citas, etcétera.

TS: ¿Qué desafíos encontró al implementar esto? 

LO: Ha habido mucha preocupación sobre si el la investigación que sería financiada de esta manera tendría una calidad suficientemente alta. La principal preocupación es ¿cómo garantizamos un proceso mediante el cual estemos seguros de que realmente podemos respaldar cada solicitud que se financia? Por lo tanto, el comité aún es necesario para tomar una decisión sobre si un proyecto tiene una calidad suficientemente alta. Eso es realmente crucial.

TS: ¿Qué problemas que existen en este momento podrían resolverse con aleatorización parcial?

LO: Un problema importante es el conservadurismo: la tendencia a financiar investigaciones más seguras y no ser valiente con respecto a avanzar en nuevos campos, o tal vez confiar en que un investigador más joven que aún no tiene un currículum muy sólido es capaz de contribuir realmente de manera significativa a la investigación.

Existe este efecto en la investigación, que se llama el efecto Mateo, que en realidad se describe en la Biblia: dice que al que tiene más se le dará. Y definitivamente es un problema danés. Y es un problema europeo. Pero en Dinamarca. . . El 20 por ciento de los investigadores tiene el 90 por ciento de la financiación. Si eres un investigador realmente exitoso, si tienes un currículum fantástico y muchas citas, es fácil conseguir financiación. . . . Pero no financiar el otro 80 por ciento significa que muchas ideas nunca se hacen realidad. El tercero es lo que llamamos el problema del reloj de arena. Si observa el nivel de carrera, cuando acaba de recibir su doctorado, si está dispuesto a mudarse, es posible obtener un estipendio de posdoctorado. Si está en la cima, digamos que es un profesor muy exitoso, tiene un currículum muy sólido, entonces la vida es fácil. Pero si estás en el medio, donde el reloj de arena se vuelve más angosto, es difícil porque aún no te has establecido con un currículum lo suficientemente sólido como para realmente salir y obtener las grandes subvenciones. Estos son los tres principales problemas de investigación que estamos tratando de resolver a través de mejores procesos de concesión de subvenciones.

Corrección (28 de febrero): Este artículo incluía anteriormente una imagen de Novo Nordisk A/S, no la Fundación Novo Nordisk. El científico lamenta el error.