Dar penalizaciones a la IA para obtener mejores diagnósticos

Decirle a las personas enfermas que están sanas puede suceder cuando un médico humano ve a un paciente. También sucede cuando la Inteligencia Artificial (IA) aprende a diagnosticar enfermedades. Pero dar una gran penalización a un algoritmo por falsos negativos da como resultado una precisión mucho mejor, según encuentran los investigadores de la UJ. La investigación aparece en Informatics in Medicine Unlocked, en https://doi.org/10.1016/j.imu.2021.100690. Crédito: Diseño gráfico de Therese van Wyk, Universidad de Johannesburgo. Basado en imágenes de Pixabay.

Cualquiera que espera los resultados de un examen médico conoce la pregunta ansiosa: «¿Mi vida cambiará por completo cuando lo sepa?» Y el alivio si da negativo.

Hoy en día, la inteligencia artificial (IA) se implementa cada vez más para predecir enfermedades potencialmente mortales. Pero sigue existiendo un gran desafío para lograr que los algoritmos de aprendizaje automático (ML) sean lo suficientemente precisos, específicamente, para lograr que los algoritmos diagnostiquen correctamente si alguien está enfermo.

El aprendizaje automático (ML) es la rama de la IA donde los algoritmos aprenden de los conjuntos de datos y se vuelven más inteligentes en el proceso. «Digamos que hay un conjunto de datos sobre una enfermedad grave. El conjunto de datos tiene 90 personas que no tienen la enfermedad. Pero 10 de las personas sí tienen la enfermedad», dice el Dr. Ibomoiye Domor Mienye. Mienye es investigadora posdoctoral de IA en la Universidad de Johannesburgo (UJ).

«Como ejemplo, un algoritmo de ML dice que los 90 no tienen la enfermedad. Eso es correcto hasta ahora. Pero no diagnostica a los 10 que sí tienen la enfermedad. El algoritmo aún se considera con una precisión del 90 %», dice.

Esto se debe a que la precisión se ha definido de esta manera. Pero para los resultados de salud, puede ser urgente diagnosticar a las 10 personas con la enfermedad y ponerlas en tratamiento. Eso puede ser más importante que la precisión completa sobre los 90 que no tienen la afección, agrega.

Sanciones contra la IA

En un estudio de investigación publicado en Informatics in Medicine Unlocked, Mienye y el profesor Yanxia Sun muestran cómo los algoritmos de ML se pueden mejorar significativamente para fines médicos. Utilizaron algoritmos de regresión logística, árbol de decisión, XGBoost y bosque aleatorio.

Estos son algoritmos de clasificación binaria supervisados. Eso significa que solo aprenden de los conjuntos de datos ‘sí/no’ que se les proporcionan.

Dr. Mienye y el profesor Sun pertenecen al Departamento de Ciencias Eléctricas e Ingeniería de la UJ. Los investigadores incorporaron la sensibilidad al costo en cada uno de los algoritmos. Esto significa que el algoritmo recibe una penalización mucho mayor por decirle a una persona enferma en el conjunto de datos que está sana, que al revés. En términos médicos, los algoritmos obtienen mayores sanciones por falsos negativos que por falsos positivos.

Dr. Mienye y el profesor Sun utilizaron conjuntos de datos de aprendizaje público para diabetes, cáncer de mama, cáncer de cuello uterino (858 registros) y enfermedad renal crónica (400 registros).

Los conjuntos de datos provienen de grandes hospitales o programas de atención médica. En estos conjuntos de datos binarios, las personas se clasifican como que tienen una enfermedad o que no la tienen.

Los algoritmos que usaron también son binarios. Estos pueden decir «sí la persona tiene la enfermedad» o «no, no la tiene». Probaron todos los algoritmos en cada conjunto de datos, tanto sin como con la sensibilidad al costo.

Precisión y recuperación significativamente mejoradas

Los resultados dejan en claro que las penalizaciones funcionan según lo previsto en estos conjuntos de datos Para la enfermedad renal crónica, por ejemplo, el algoritmo Random Forest tenía una precisión de 0,972 y una recuperación de 0,946, de un 1,000 perfecto. Después de agregar la sensibilidad al costo, el algoritmo mejoró significativamente con una precisión de 0,990 y una recuperación perfecta de 1000.

Para la ERC, la recuperación de los otros tres algoritmos mejoró de puntajes altos a una perfecta de 1000. La precisión de 1.000 significa que el algoritmo no predijo uno o más falsos positivos en todo el conjunto de datos. Recall at 1.000 significa que el algoritmo no predijo uno o más falsos negativos en todo el conjunto de datos.

Con los otros conjuntos de datos, los resultados fueron diferentes para diferentes algoritmos. Para el cáncer de cuello uterino, los algoritmos de bosque aleatorio y XGBoost sensibles a los costos mejoraron de puntajes altos a precisión y recuperación perfectas. Sin embargo, la regresión logística y los algoritmos del árbol de decisión mejoraron a puntajes mucho más altos, pero no llegaron a 1.000.

El problema de la precisión

En general, los algoritmos han sido más precisos para decir que las personas no tienen una enfermedad que identificar a los que están enfermos, dice Mienye. Este es un desafío constante en la IA del cuidado de la salud.

La razón es la forma en que aprenden los algoritmos. Los algoritmos aprenden de conjuntos de datos que provienen de grandes hospitales o programas estatales de atención médica. Pero la mayoría de las personas en esos conjuntos de datos no tienen las condiciones para las que están siendo evaluadas, dice Mienye. «En un gran hospital, una persona ingresa para hacerse una prueba de enfermedad renal crónica (ERC). Su médico la envió allí porque algunos de sus síntomas son síntomas de la ERC. Al médico le gustaría descartar la ERC. Resulta que la persona no no tener ERC.

«Esto le sucede a mucha gente. El conjunto de datos termina con más personas que no tienen ERC que personas que sí la tienen. A esto lo llamamos un conjunto de datos desequilibrado».

Cuando un algoritmo comienza a aprender del conjunto de datos, aprende mucho menos sobre la ERC de lo que debería y no es lo suficientemente preciso para diagnosticar pacientes enfermos a menos que el algoritmo se ajuste para el desequilibrio.

AI al otro lado de un paseo en bote

Mienye creció en un pueblo cerca del Océano Atlántico, al que no se puede acceder por carretera. «Tienes que usar una lancha rápida del pueblo más cercano para llegar. El viaje en bote dura de dos a tres horas», dice. La clínica más cercana está en la ciudad más grande, al otro lado del paseo en bote. El profundo entorno rural de su pueblo natal lo inspiró a ver cómo la IA puede ayudar a las personas con pocos recursos. o sin acceso a la atención médica.

Una anciana de su pueblo es un buen ejemplo de cómo los algoritmos de inteligencia artificial más avanzados pueden ayudar en el futuro, dice. Un algoritmo de aprendizaje automático multiclase sensible a los costos podría evaluar los datos medidos para su presión arterial, niveles de sodio, azúcar en la sangre y más.

Si sus datos se registran correctamente en una computadora, y el algoritmo aprende de un conjunto de datos multiclase, esa IA futura podría decirle al personal de la clínica en qué etapa de la enfermedad renal crónica enfermedad en la que se encuentra. Sin embargo, este escenario de aldea está en el futuro.

Mientras tanto, los cuatro algoritmos del estudio con sensibilidad al costo son mucho más precisos en el diagnóstico de enfermedades en sus conjuntos de datos numéricos. Y aprenden rápidamente, usando el computadora ordinaria que uno podría esperar encontrar en un pueblo remoto.

Explo más

Algoritmos de aprendizaje automático utilizados para detectar la enfermedad de Alzheimer durante conversaciones telefónicas Más información: Ibomoiye Domor Mienye et al, Análisis de rendimiento de métodos de aprendizaje sensibles al costo con aplicación a datos médicos desequilibrados, Informática en Medicina desbloqueada (2021). DOI: 10.1016/j.imu.2021.100690 Proporcionado por la Universidad de Johannesburgo Cita: Dar sanciones a la IA para obtener mejores diagnósticos (2021, 1 de noviembre) consultado el 29 de agosto de 2022 en https://medicalxpress.com/news /2021-11-ai-penalties.html Este documento está sujeto a derechos de autor. Aparte de cualquier trato justo con fines de estudio o investigación privados, ninguna parte puede reproducirse sin el permiso por escrito. El contenido se proporciona únicamente con fines informativos.