La herramienta de ‘auditoría’ puede mejorar la confiabilidad de los estudios que exploran las relaciones entre las cosas
Crédito: CC0 Public Domain
¿El café mejora la memoria? ¿Las zanahorias mejoran la visión? ¿La deficiencia de vitamina D aumenta el riesgo de COVID-19?
Depende.
La misma pregunta de investigación puede arrojar respuestas muy diferentes según cómo se diseñe un estudio, qué variables se midan y cómo se analicen los resultados.
Debido a la mezcolanza de enfoques utilizados para descifrar la interacción entre las variables, los estudios de asociación, aquellos que exploran cómo una cosa afecta a otra son notoriamente propensos al error o al «sesgo».
Encontrar un vínculo donde no existe o perder uno si existe puede frustrar la búsqueda de preguntas y soluciones científicas críticas, llevar a los investigadores por el camino equivocado y generar resultados contradictorios que confundan a los científicos colegas y al público por igual.
Para ayudar a remediar tales problemas, un equipo de científicos computacionales de Harvard Medical School ha desarrollado una herramienta de auditoría llamada vibración de efectos (VoE).
La herramienta, descrita por primera vez en PLoS Biology en septiembre de 2021, ahora se implementó para analizar los vínculos informados entre varios microbios intestinales y seis enfermedades en 15 publicar previamente ed estudios que comprenden muestras de 2434 pacientes con cáncer de colon, diabetes tipo 1, diabetes tipo 2, enfermedad cardiovascular, enfermedad inflamatoria intestinal (EII) y cirrosis hepática.
La nueva investigación, publicada el 2 de marzo en PLoS Biología, es la última entrega de una serie de tres artículos y representa la culminación del viaje de dos años del equipo emprendido al comienzo de la pandemia de COVID-19 y realizado con colaboradores que trabajan de forma remota en todo el país.
Los resultados del último estudio revelan que un tercio completo de las 581 asociaciones microbio-enfermedad informadas fueron inconsistentes, y los resultados cambiaron dependiendo de cómo se modificó el diseño y qué otras variables se incluyeron en el análisis.
Un hallazgo particularmente sorprendente, dijo el equipo, fue que más del 90 por ciento de los hallazgos de investigación de los estudios que exploraron el vínculo entre los microbios intestinales y la diabetes tipo 1 y tipo 2 fueron inconsistentes.
Los estudios que exploraron el vínculo entre la cirrosis del el microbioma hepático e intestinal produjo la mayor consistencia. El 60 % de estos análisis mostró resultados consistentes cuando se ejecutaron en diferentes modelos.
Los estudios de asociación de enfermedades cardiovasculares mostraron casi un 50 % de consistencia, al igual que un tercio de los estudios de asociación de EII y microbioma.
La herramienta utiliza un enfoque computacional de fuerza bruta que prueba la confiabilidad de los resultados de la investigación y puede ser utilizada por los investigadores para auditar sus propios resultados antes de enviarlos para su publicación. Es de acceso público y está disponible de forma gratuita en línea.
«En su forma más básica, el modelo de vibración de efectos analiza cómo las elecciones de modelado que hace un investigador pueden influir en lo que descubrirá», dijo Braden Tierney, uno de los los principales arquitectos de la herramienta.
Ex estudiante de doctorado en HMS, Tierney ahora es investigador posdoctoral en Weill Cornell Medical College.
«Este enfoque es una forma de maximizar la confianza de los investigadores en los resultados que obtienen de sus análisis incluso antes de publicarlos».
En el último estudio, el equipo verificó cada una de las asociaciones informadas mediante la ejecución de millones de estrategias de modelado, incluida la suma y resta de diferentes variables El modelo demostró cómo los resultados pueden cambiar drásticamente según las variables que se usaron y las preguntas que se hicieron.
En general, los estudios que obtuvieron puntajes altos fueron menos confiables porque sus resultados mostraron un alto grado de variación cuando se ejecutaron a través de múltiples modelos. .
Por el contrario, los estudios que obtuvieron una puntuación baja en VoE se consideraron sólidos porque identificaron asociaciones que se mantienen consistentes incluso cuando se aplica un modelo de prueba diferente.
Avanzando un paso más, el equipo demostró cómo se puede usar la herramienta VoE para identificar posibles factores de confusión cuya influencia no se mide ni se tiene en cuenta en el diseño del estudio y, por lo tanto, interfiere con la confiabilidad de los resultados.
Para hacerlo, el equipo ejecutó más de 6 millones de estrategias de modelado estadístico sobre los hallazgos de estudios previos, sumando y restando variables y probando diferentes combinaciones de variables.
Por ejemplo, analizando el papel del microbio F. prausnitzii en la enfermedad colónica, t Los investigadores demostraron cómo la inclusión de factores como los niveles de azúcar y colesterol en la sangre de una persona y el índice de masa corporal puede dar resultados muy divergentes.
«La herramienta VoE puede ayudar a los investigadores no solo a identificar problemas, sino también a diagnosticar lo que puede estar causando ellos», dijo Tierney. «Puede ayudarlos a comprender por qué pueden estar obteniendo hallazgos contradictorios sobre la misma pregunta de investigación, y puede ayudarlos a profundizar y encontrar vínculos que de otro modo podrían pasar por alto».
Alto en juego
Cuando se hacen bien, los estudios de asociación pueden convertirse en puertas de entrada fundamentales para futuras investigaciones que se basen en estos hallazgos iniciales. La identificación de vínculos entre variables, como el consumo de café y la memoria, el consumo de zanahorias y la vista, es importante porque pueden informar hipótesis que los científicos pueden probar en el laboratorio y en ensayos clínicos para determinar la causa y el efecto y, finalmente, el mecanismo subyacente de un observado. efecto.
«Comprender la correlación es un requisito previo para comprender la causalidad, pero no es suficiente», dijo Chirag Patel, coautor principal del trío de estudios y profesor asociado de informática biomédica en el Instituto Blavatnik del HMS.
«Por lo tanto, es esencial que los investigadores tengan confianza en la solidez de la asociación observada antes de emprender más estudios, a veces costosos».
«Saber qué tan fuerte es la asociación entre dos variables puede evitar que los investigadores vayan por callejones sin salida o puede ponerlos en el camino correcto para comprender los vínculos críticos en la salud humana», dijo Patel, quien codirigió los tres estudios con su colega Aleksanda r Kostic, profesor asistente de microbiología en HMS e investigador asistente en Joslin Diabetes Center.
Para detectar correlaciones, los investigadores a menudo comienzan obteniendo datos de observación de humanos. Por ejemplo, comparar las diferencias en la composición microbiana del intestino entre las personas que tienen diabetes y las que no la tienen puede ayudar a esclarecer qué bacterias pueden reducir o aumentar el riesgo de la enfermedad.
Pero con ese enfoque, dijo Patel, llegará un toda una serie de advertencias. Especialmente crítico entre estos es conocer y evaluar las variables que pueden desempeñar un papel en un supuesto efecto.
Por ejemplo, al estudiar la relación entre una bacteria intestinal y una enfermedad cardíaca, otros factores que podrían influir en el resultado podría ser la edad, el sexo, el nivel de actividad de la persona, etc.
Tradicionalmente, los investigadores pueden explicar la influencia de estos factores de confusión o controlarlos en el lenguaje estadístico incorporándolos al modelo analítico. Pero, ¿qué sucede cuando los investigadores no saben o no piensan en lo que deben controlar?
Digamos que un equipo de investigadores está tratando de determinar si el microbio intestinal A aumenta el riesgo de desarrollar cáncer colorrectal, explicó Patel. El equipo controla el sexo, la edad y los antecedentes familiares de enfermedad colorrectal, pero no incorpora la dieta del huésped en el análisis.
Los hallazgos estarían contaminados porque los científicos no consideraron la posibilidad de que ciertos alimentos y las opciones dietéticas también pueden aumentar el riesgo de este tipo de cáncer. Los investigadores pueden atribuir erróneamente el aumento observado en el riesgo en un subconjunto de participantes a la presencia o ausencia del microbio A, cuando en realidad pueden haber sido sus dietas las que elevaron el riesgo.
«Puede que esté buscando por un lado, pero también es necesario comprender qué otras cosas pueden tener un papel que afecte el resultado», dijo Patel. «Debe tener un buen diseño de estudio que pueda extraer la señal del ruido y pueda diferenciar las asociaciones verdaderas de las confusas, pero ¿cómo se hace eso?»
Una forma de remediar el problema, dijeron Patel y Tierney, es hacer una «prueba de presión» de los hallazgos. Esto es precisamente lo que hace VoE.
El modelo lo hace analizando todas las posibles asociaciones e influencias que pueden haber llevado al resultado. Si el hallazgo sigue siendo consistente en todos los escenarios posibles, entonces apuntan a un efecto real.
Los investigadores advierten, sin embargo, que la herramienta VoE no puede diferenciar entre los vínculos causales verdaderos y los mediadores de la enfermedad, aquellos factores que puede precipitar la enfermedad en presencia de otros factores, pero que por sí solos no son suficientes para causar la enfermedad.
Sin embargo, la herramienta puede eliminar gran parte de las asociaciones defectuosas y ayudar a los investigadores a centrarse en las sólidas que tienen más probabilidades para generar más conocimientos, un paso crítico en el descubrimiento biomédico.
El modelo VoE se basa en el trabajo iniciado por Patel hace varios años. Sobre la base de estos esfuerzos, Patel, Tierney y Kostic buscaron analizar cómo los microbios en el intestino humano pueden influir en los rasgos de salud y enfermedad.
Pero los científicos querían profundizar más que los estudios de asociación habituales que inundan el campo: aquellos que evaluar si la mera presencia o ausencia de un microbio determinado afecta la salud del huésped. Querían determinar qué especies microbianas específicas y qué genes específicos dentro de una especie podrían desempeñar un papel en el desarrollo de enfermedades.
La primera entrega de la serie de tres partes aborda esa misma pregunta, mostrando que en lugar de un microbio ausencia o presencia, son genes bacterianos específicos los que están fuertemente vinculados con la enfermedad.
El trabajo, publicado en mayo de 2021 en Nature Communications, analiza la composición genética de las bacterias en el intestino humano y vincula grupos de genes bacterianos con varias enfermedades.
En el segundo artículo, el equipo presentó la herramienta VoE y la utilizó para auditar miles de análisis estadísticos y comparar sus hallazgos. Los investigadores evaluaron los resultados de los estudios que analizan el vínculo entre la ingesta de calcio y la densidad ósea, los niveles de vitamina D y el riesgo de COVID-19, la ingesta de zanahorias y la vista, el azúcar en la sangre y los ingresos, los niveles de presión arterial y el uso de un medicamento antihipertensivo comúnmente recetado (lisinopril ).
Probaron 10 000 escenarios de modelado diferentes por asociación para identificar diferentes niveles de «vibración» o ruido. Uno de los hallazgos más sorprendentes de este artículo fue que casi la mitad de todos los estudios sobre el COVID-19 y la vitamina D mostraron resultados contradictorios cuando se sometieron a pruebas de presión.
Por el contrario, los niveles de glucosa en sangre y la riqueza mostraron una asociación constante a lo largo de los análisis, con caídas en el seguimiento de la riqueza con niveles más altos de azúcar en la sangre.
El último artículo unifica las tres publicaciones para explicar cómo se puede aplicar el enfoque a las asociaciones de enfermedades del microbioma para seis afecciones prevalentes y bien estudiadas. En muchos casos, diferentes modelos arrojaron asociaciones contradictorias para el mismo binomio microbio-enfermedad, algunas mostrando correlaciones positivas y otras negativas.
Recomendaciones para el campo
En términos generales, los hallazgos del equipo hablan de la necesidad de un autoanálisis continuo por parte de los investigadores, que nunca deben dejar de cuestionar las suposiciones básicas que hacen en el diseño del estudio, para evaluar el papel de las variables que eligen y para cuestionar y probar sus propios hallazgos, dijo Patel.
«Las decisiones que tomamos al principio cuando conceptualizamos y diseñamos un estudio determinan todo lo que sigue», dijo Patel.
«Para mí, cosas como la edad, el sexo, el país de origen son cosas básicas para considerar en el diseño de su estudio, pero alguien más, incluso si tiene la misma hipótesis que yo, puede decidir incluir cosas totalmente diferentes en su análisis, y por eso podemos llegar a conclusiones muy diferentes».
Lo que esto significa para el campo, dijo Patel, es la necesidad de que los investigadores para considerar más escenarios analíticos que representen más variables y también para ser más transparentes sobre qué variables incluyen en su análisis y por qué.
«Mis suposiciones pueden ser diferentes a las suyas, y el mismo conjunto de datos en su manos podría resultar en algo totalmente diferente», dijo Patel.
Fundamentalmente, dijo Tierney, cómo haces una pregunta influirá en la respuesta que obtienes, y eso es fundamental en el diseño del estudio.
Los investigadores dijeron que modelar la vibración de los efectos es un paso fundamental para navegar el descubrimiento en los datos de observación porque puede ayudar a discernir asociaciones sólidas y catalogar y ajustar las variables que afectan los resultados del estudio.
Los investigadores dijeron que su plan es continuar para desarrollar la herramienta y optimizar su eficiencia para lograr el máximo impacto.
«Para diseñar pruebas de diagnóstico y tratamientos para cualquier enfermedad, incluidas las enfermedades causadas por alteraciones en el microbioma intestinal, debemos comprender el mecanismo subyacente y el int exacto interacción entre los microbios intestinales y la disfunción», dijo Patel. «Y el primer paso en ese largo viaje es la capacidad de detectar asociaciones correctas».
Explore más
Los científicos relacionan la composición genética de las bacterias en el intestino humano con varias enfermedades humanas Más información: Braden T. Tierney et al, aprovechando el análisis de efectos de vibración para un descubrimiento sólido en estudios observacionales ciencia de datos biomédicos, PLOS Biology (2021). DOI: 10.1371/journal.pbio.3001398
Braden T. Tierney et al, La evaluación sistemática de las asociaciones de microbiomediease identifica los impulsores de la inconsistencia en la investigación metagenómica, PLOS Biology (2022). DOI: 10.1371/journal.pbio.3001556
Braden T. Tierney et al, Las arquitecturas metagenómicas a nivel de genes en todas las enfermedades producen indicadores de diagnóstico de microbioma de alta resolución, Nature Communications (2021). DOI: 10.1038/s41467-021-23029-8 Información de la revista: PLoS Biology , Nature Communications