Un análisis de metanálisis psicológico revela un problema de reproducibilidad
Crédito: CC0 Public Domain
Los estudios de investigación de metanálisis en psicología no siempre son reproducibles debido a la falta de transparencia de los informes en el proceso de metanálisis, según a un nuevo estudio publicado el 27 de mayo de 2020 en la revista de acceso abierto PLOS ONE por Esther Maassen de la Universidad de Tilburg, Países Bajos, y colegas.
El metanálisis es un método ampliamente utilizado para combinar y comparar datos cuantitativos de múltiples estudios primarios. El enfoque estadístico utilizado en los metanálisis puede revelar si los resultados del estudio difieren según las características particulares del estudio y ayudar a calcular el tamaño del efecto general, por ejemplo, la magnitud del efecto de un tratamiento para el tema de interés. Sin embargo, muchos pasos de un metanálisis involucran decisiones y juicios que pueden ser arbitrarios o diferir según el investigador.
En el nuevo estudio, los investigadores analizaron 33 artículos de metanálisis en el campo de la psicología. Todos los estudios metanalíticos se publicaron en 2011 y 2012, todos tenían tablas de datos con estudios primarios y todos incluían al menos diez estudios primarios. Para cada metanálisis, el equipo buscó los artículos de estudio primarios correspondientes, siguió los métodos detallados en el artículo del metanálisis y volvió a calcular un total de 500 tamaños del efecto informados en los metanálisis.
Fuera de 500 tamaños del efecto del estudio primario, los investigadores pudieron reproducir 276 (55%) sin ningún problema. (En este caso, la reproducibilidad se definió como llegar al mismo resultado después de volver a analizar los mismos datos siguiendo los procedimientos informados). Sin embargo, en algunos casos, los metanálisis no contenían suficiente información para reproducir el tamaño del efecto del estudio, mientras que en otros se calculó un efecto diferente al declarado. 114 tamaños del efecto (23%) mostraron discrepancias en comparación con lo informado en el artículo metaanalítico. 30 de los 33 metanálisis contenían al menos un tamaño del efecto que no podía reproducirse fácilmente.
Cuando los tamaños del efecto erróneos o no reproducibles se integraron en cada metanálisis, el equipo encontró que 13 de los 33 (39%) metanálisis tuvieron discrepancias en sus resultados, aunque muchos fueron insignificantes. Los investigadores recomiendan agregar a las pautas existentes para la publicación de metanálisis psicológicos para hacerlos más reproducibles.
Los autores agregan: Los tamaños de los efectos individuales de los metanálisis en psicología son difíciles de reproducir debido a errores inexactos e incompletos. informes en el metanálisis. Para aumentar la confiabilidad de los resultados del metaanálisis, es esencial que los investigadores documenten explícitamente sus prácticas y flujo de trabajo de manejo de datos, así como también publiquen sus datos y códigos en línea.
Explore más
Blockchain puede fortalecer la credibilidad de los metanálisis Más información: Maassen E, van Assen MALM, Nuijten MB, Olsson-Collentine A, Wicherts JM (2020) Reproducibilidad de tamaños del efecto individual en metanálisis en psicología. PLoS ONE 15(5): e0233107. doi.org/10.1371/journal.pone.0233107 Información de la revista: PLoS ONE
Proporcionado por Public Library of Science Cita: Un análisis de metanálisis psicológico revela un problema de reproducibilidad (27 de mayo de 2020) recuperado el 31 de agosto de 2022 de https://medicalxpress.com/news/2020-05-analysis-psychological-meta-analyses-reveals-problem.html Este documento está sujeto a derechos de autor. Aparte de cualquier trato justo con fines de estudio o investigación privados, ninguna parte puede reproducirse sin el permiso por escrito. El contenido se proporciona únicamente con fines informativos.