Opinión: A pesar de las limitaciones, el estudio ofrece pistas sobre el sesgo de género

Esta opinión se escribió en respuesta a la Opinión: Estudio de revisión por pares compromete la respuesta al sesgo de género

En enero, La ciencia avanza publicó un proyecto masivo que analiza los resultados de la revisión por pares de 350 000 manuscritos de 145 revistas que no encontró evidencia de sesgo de género después de la presentación del manuscrito. Apenas un mes antes, mis colegas y yo publicamos en mBio un estudio similar, aunque de menor escala, que analizaba los resultados de la revisión por pares de 108 000 envíos de manuscritos a 13 revistas de la Sociedad Estadounidense de Microbiología (ASM). Nuestro estudio encontró una tendencia constante de que los manuscritos enviados por autoras correspondientes mujeres recibieran más resultados negativos que los enviados por hombres. Ambos proyectos analizaron seis años de datos de presentación que solo están disponibles para los editores de revistas, pero llegaron a conclusiones diferentes.

Lea más.

ARRIBA: ISTOCK. COM, PROSTOCK-STUDIO

Estimar las posibles fuentes de desigualdades de género en la revisión por pares y los procesos editoriales en revistas académicas es una tarea difícil por varias razones. Existen serios obstáculos para realizar estudios experimentales sólidos entre revistas que prueben hipótesis causales mediante la manipulación de la información y los contextos de los manuscritos, los autores y los árbitros. Por lo tanto, realizar estudios retrospectivos es la única opción, y esto también está lejos de ser simple debido a la falta de una infraestructura de intercambio de datos entre editores y revistas. Si bien esto hace que cualquier generalización de los hallazgos sea problemática y limitada, creo que es esencial estudiar la revisión por pares con datos de revistas cruzadas a gran escala, para evitar enfatizar demasiado los casos individuales. Esto es lo que hemos tratado de hacer en nuestro reciente artículo Science Advances.

Si bien sabíamos que nuestros hallazgos podrían ser controvertidos, me sorprende la forma en que Ada Hagan ha malinterpretado nuestra investigación. y me gustaría comentar sobre los tres puntos en los que basó su opinión.

La selección de revistas no es sólida

La falta de aleatorización en la selección de revistas es una debilidad de nuestro estudio, pero nunca afirmamos haber seguido una estrategia de muestreo aleatorio. Además, el tamaño, la distribución y la calidad de nuestro conjunto de datos no tiene precedentes, y el uso de diferentes modelos estadísticos en el mismo conjunto de datos aumentó el rigor y la solidez de nuestro análisis. La investigación previa de este tipo solo se realizó en revistas individuales o en una pequeña cohorte de revistas similares, y nunca a una escala tan cruzada. También es importante tener en cuenta que la decisión de restringir nuestra muestra solo a revistas indexadas por Web of Science fue para garantizar la comparabilidad y evitar agregar más controles a nuestros modelos (p. ej., para tener en cuenta las posibles diferencias en los estándares editoriales y de revisión por pares). Esto significó que excluimos una pequeña cantidad de revistas, pero esto no afectó la distribución de revistas por área de investigación y, por lo tanto, nuestro conjunto de datos incluía una amplia representación de revistas científicas. También señalaré que los estudios a pequeña escala que afirman haber encontrado rastros inequívocos de desigualdades de género nunca fueron acusados de estar basados en una muestra de revista representativa no aleatoria, a pesar de estar claramente limitados a solo una o unas pocas revistas bajo revisión.

Cada envío de manuscritos se trata como una sola unidad

Estoy de acuerdo con Hagan en que no pudimos reconstruir el destino de los manuscritos rechazados y luego reenviados a otro lugar para estimar si las mujeres se retrasaron en el proceso de publicación. por múltiples rechazos. Sin embargo, esto requeriría un conjunto de datos que cubriera miles de revistas de múltiples editores, algo imposible de alcanzar. Controlamos la ronda de revisiones, es decir, si los revisores y editores eran más exigentes en el caso de manuscritos escritos por mujeres y no encontramos efectos negativos significativos. Además, creo que la decisión de comenzar con manuscritos individuales en lugar de grupos agregados de género, como lo han hecho muchos estudios previos, incluido Hagans, nos permitió controlar cualquier factor de confusión sobre el cual teníamos datos, al tiempo que estimamos el efecto del género de los autores en todos los pasos del proceso. el proceso de revisión por pares.

Los rechazos de escritorio no se evalúan

Este es un buen punto. Teníamos datos sobre rechazos de escritorio solo en una submuestra de revistas, debido al hecho de que algunos sistemas de envío de manuscritos registraron esta información mientras que otros no, e informamos sobre esto en la versión preliminar del artículo publicado en febrero de 2020. Los resultados sugirieron que los manuscritos con una mayor proporción de mujeres entre los autores tenían menos posibilidades de ser rechazados en las revistas de salud/medicina y ciencias sociales, mientras que tenían una mayor probabilidad de ser rechazados en las revistas de ciencias físicas. Originalmente incluimos este análisis en el manuscrito, pero los revisores sugirieron eliminarlo ya que el enfoque de nuestro estudio estaba en la revisión por pares.

En conclusión, no pretendemos estudiar todas las fuentes de desigualdades y sesgos que afectan a las mujeres en el mundo académico y, de hecho, hemos contextualizado nuestros hallazgos en las conclusiones para evitar cualquier mala interpretación. Nuestro objetivo era encontrar rastros de sesgo contra las mujeres en la forma en que la revisión por pares trata los manuscritos presentados en una muestra de revistas de diversas áreas de investigación. Al final, no encontramos evidencia de tal sesgo. En mi opinión, deberíamos continuar haciendo todo lo posible para publicar estudios rigurosos, incluso si son controvertidos. Como científicos, al fin y al cabo creemos en el poder de la evidencia. 

Flaminio Squazzoni es profesor de Sociología en la Universidad de Milán, Italia, donde dirige el BEHAVE Lab. De 2014 a 2018, presidió un proyecto de la UE a gran escala sobre revisión por pares (PEERE).