La fidelidad deficiente puede significar que las estrategias educativas efectivas nunca vean la luz del día
Crédito: CC0 Public Domain
Las nuevas intervenciones educativas prometedoras están potencialmente siendo ‘descartadas innecesariamente’ porque los ensayos para probar su efectividad pueden no ser lo suficientemente fieles a la investigación original, un ha advertido el estudio.
La nota de advertencia surge después de que los investigadores realizaron una simulación por computadora a gran escala de más de 11 000 ensayos de investigación para examinar cuánto influyó la ‘fidelidad’ en los resultados. En la ciencia y las ciencias sociales, la ‘fidelidad’ es el grado en que las pruebas que evalúan una nueva innovación se adhieren al diseño del experimento original en el que se basa esa innovación.
De la misma manera que los científicos probar un nuevo medicamento antes de que sea aprobado, las nuevas estrategias para mejorar el aprendizaje a menudo se evalúan minuciosamente en las escuelas u otros entornos antes de implementarlas.
Muchas innovaciones se rechazan en esta etapa porque los ensayos indican que dan como resultado poco o ningún progreso en el aprendizaje. Sin embargo, los académicos han expresado durante algún tiempo su preocupación de que, en algunos casos, las pérdidas de fidelidad podrían comprometer el juicio. En muchos casos, la fidelidad no se mide o informa de manera consistente.
El nuevo estudio puso a prueba esta teoría. Investigadores de la Universidad de Cambridge y la Universidad Carnegie Mellon realizaron miles de ensayos basados en modelos informáticos, con millones de participantes simulados. Luego examinaron hasta qué punto los cambios en la fidelidad alteraron el ‘tamaño del efecto’ de una intervención.
Descubrieron que incluso las desviaciones relativamente sutiles en la fidelidad pueden tener un impacto significativo. Por cada 5 % de fidelidad perdida en las pruebas de seguimiento simuladas, el tamaño del efecto se redujo en un 5 %.
En contextos de la vida real, esto podría significar que algunas innovaciones de alto potencial se consideran inadecuadas para su uso porque la baja fidelidad está distorsionando los resultados. El estudio señala: «Existe una creciente preocupación de que una cantidad sustancial de hallazgos nulos en las intervenciones educativas podría deberse a la falta de fidelidad, lo que resulta en la eliminación innecesaria de programas potencialmente sólidos».
Los hallazgos pueden ser particularmente útil para organizaciones como Education Endowment Foundation (EEF) en el Reino Unido o What Works Clearinghouse en los Estados Unidos, las cuales evalúan nuevas investigaciones en educación. La EEF informa los resultados de los ensayos de proyectos en su sitio web. En la actualidad, más de tres de cada cinco informes indican que la intervención que se está probando no produjo ningún progreso o un progreso negativo para los alumnos.
Michelle Ellefson, profesora de Ciencias Cognitivas en la Facultad de Educación de la Universidad de Cambridge, dijo: «Se está invirtiendo mucho dinero en estos ensayos, por lo que debemos observar de cerca qué tan bien controlan la fidelidad. La replicabilidad en la investigación es muy importante, pero el peligro es que podríamos descartar intervenciones prometedoras». debido a violaciones de fidelidad y creando una brecha de confianza innecesaria entre profesores e investigadores».
Los académicos se han referido con frecuencia a una ‘crisis de replicación’ precisamente porque los resultados de tantos estudios son difíciles de reproducir. En educación, las pruebas a menudo las llevan a cabo una combinación de profesores e investigadores. Los estudios más grandes, en particular, crean amplias oportunidades para pérdidas de fidelidad inadvertidas, ya sea por factores humanos (como la lectura incorrecta de las instrucciones de investigación) o cambios en el entorno de investigación (por ejemplo, en el momento o las condiciones de la prueba).
Ellefson y el profesor Daniel Oppenheimer de la Universidad Carnegie Mellon desarrollaron un ensayo de control aleatorio basado en computadora que, en primera instancia, simuló una intervención imaginaria en 40 aulas, cada una con 25 estudiantes. Ejecutaron esto una y otra vez, ajustando cada vez un conjunto de variables, incluido el tamaño del efecto potencial de la intervención, los niveles de habilidad de los estudiantes y la fidelidad de la prueba en sí.
En modelos posteriores, Se agregaron elementos de confusión adicionales que podrían afectar aún más los resultados, por ejemplo, la calidad de los recursos en la escuela o el hecho de que los mejores maestros pueden tener estudiantes con un rendimiento más alto. El estudio combinó permutaciones representativas de las variables que introdujeron, modelando 11 055 ensayos en total.
Sorprendentemente, en todo el conjunto de datos, los resultados indicaron que por cada 1 % de fidelidad perdida en un ensayo, el tamaño del efecto de la intervención también cae un 1%. Esta correspondencia 1:1 significa que incluso un ensayo con, por ejemplo, un 80 % de fidelidad, vería una caída significativa en el tamaño del efecto, lo que podría generar dudas sobre el valor de la intervención que se está probando.
A más Luego, el análisis granular reveló que el efecto de las pérdidas de fidelidad tendía a ser mayor donde se anticipaba un mayor tamaño del efecto. En otras palabras, las innovaciones de investigación más prometedoras también son más sensibles a las violaciones de la fidelidad.
Aunque los factores de confusión debilitaron esta relación general, la fidelidad tuvo, por mucho, el mayor impacto en los tamaños del efecto en todas las pruebas que realizaron los investigadores. corrió.
Ellefson y Oppenheimer sugieren que las organizaciones que realizan ensayos de investigación pueden desear establecer procesos más firmes para garantizar, medir e informar la fidelidad para que sus recomendaciones sean lo más sólidas posible. Su artículo apunta a una investigación de 2013 que encontró que solo el 29 % de los estudios de intervención después de la escuela midieron la fidelidad, y otro estudio, en 2010, que encontró que solo el 15 % de los estudios de intervención de trabajo social recopilaron datos de fidelidad.
«»Cuando se les pide a los maestros que prueben nuevos métodos de enseñanza, es natural, quizás incluso admirable, que quieran adaptar el método a las necesidades de sus estudiantes específicos», dijo Oppenheimer. «Sin embargo, para tener pruebas científicas confiables, es esencial siga las instrucciones con precisión; de lo contrario, los investigadores no pueden saber si la intervención será ampliamente efectiva. Es muy importante que los equipos de investigación controlen y midan la fidelidad de los estudios para poder sacar conclusiones válidas».
Ellefson dijo: «Muchas organizaciones hacen un gran trabajo al evaluar la investigación de forma independiente, pero necesitan para asegurarse de que la fidelidad sea tanto medida como escrupulosamente controlada. A veces, la respuesta correcta cuando los hallazgos no se pueden replicar puede no ser descartar la investigación por completo, sino dar un paso atrás y preguntar por qué podría haber funcionado en un caso, pero no en otro».
Los hallazgos son publicado en Psychological Methods.
Explore más
Los qubits de espín de semiconductores ganan más credibilidad como plataforma líder para la computación cuántica Más información: ¿Es posible la replicación sin fidelidad? Psychological Methods, 2022. Proporcionado por la Universidad of Cambridge Cita: La fidelidad pobre puede significar que las estrategias educativas efectivas nunca ven la luz del día (2022, 20 de enero) recuperado el 29 de agosto de 2022 de https://medicalxpress.com/news/2022-01-poor- fidelidad-eficacia-estrategias-dia.html Este documento está sujeto a derechos de autor. Aparte de cualquier trato justo con el propósito de estudio o investigación privada, ninguna parte puede ser reproducida sin el permiso por escrito. El contenido se proporciona únicamente con fines informativos.