Un algoritmo que detecta negligencia infantil genera preocupaciones

El Centro de Derecho Familiar en Pittsburgh se ve el miércoles 16 de marzo de 2022. En todo el país, mientras las agencias de bienestar infantil usan o consideran herramientas algorítmicas como en el condado de Allegheny, una revisión de Associated Press ha identificado una serie de preocupaciones sobre la tecnología, incluidas preguntas sobre su confiabilidad y su potencial para endurecer las disparidades raciales en el sistema de bienestar infantil. Crédito: AP Photo/Matt Rourke

Para el abogado de derecho familiar Robin Frank, defender a los padres en uno de sus puntos más bajos, cuando corren el riesgo de perder a sus hijos, nunca ha sido fácil.

El trabajo nunca es fácil, pero en el pasado sabía a lo que se enfrentaba cuando se enfrentaba a los servicios de protección infantil en el tribunal de familia. Ahora, le preocupa estar luchando contra algo que no puede ver: un algoritmo opaco cuyos cálculos estadísticos ayudan a los trabajadores sociales a decidir qué familias deben investigarse en primer lugar.

«Mucha gente no sabe que incluso se está utilizando», dijo Frank. «Las familias deben tener derecho a tener toda la información en su archivo».

Desde Los Ángeles hasta Colorado y todo Oregón, ya que las agencias de bienestar infantil usan o consideran herramientas similares a la del condado de Allegheny, Pensilvania. , una revisión de Associated Press ha identificado una serie de preocupaciones sobre la tecnología, incluidas preguntas sobre su confiabilidad y su potencial para endurecer las disparidades raciales en el sistema de bienestar infantil. Los problemas relacionados ya han torpedeado los planes de algunas jurisdicciones para usar modelos predictivos, como la herramienta que abandonó notablemente el estado de Illinois.

Según una nueva investigación de un equipo de la Universidad Carnegie Mellon obtenida exclusivamente por AP, el algoritmo de Allegheny en sus primeros años de operación mostró un patrón de marcar un número desproporcionado de niños negros para una investigación de negligencia «obligatoria», en comparación con los niños blancos. Los investigadores independientes, que recibieron datos del condado, también encontraron que los trabajadores sociales no estaban de acuerdo con las puntuaciones de riesgo que producía el algoritmo aproximadamente un tercio de las veces.

La supervisora de trabajo social, Jessie Schemm, examina la primera pantalla del software utilizado por trabajadores que atienden llamadas en un centro de selección de llamadas entrantes para los Servicios para Niños y Jóvenes del Condado de Allegheny, en Penn Hills, Pa. Los funcionarios de bienestar infantil en el condado dicen que la herramienta algorítmica de vanguardia que está captando la atención en todo el país utiliza datos para apoyar trabajadores mientras tratan de proteger a los niños del abandono. El término matizado puede incluir todo, desde viviendas inadecuadas hasta mala higiene. Crédito: AP Photo/Keith Srakocic

Los funcionarios del condado dijeron que los trabajadores sociales siempre pueden anular la herramienta y calificaron la investigación como «hipotética».

Funcionarios de bienestar infantil en el condado de Allegheny, la cuna de Mister Rogers’ Vecindario de TV y las innovaciones centradas en los niños del ícono, dicen que la herramienta de vanguardia que está captando la atención en todo el país usa datos para apoyar a los trabajadores de la agencia mientras intentan proteger a los niños del abandono. Ese término matizado puede incluir todo, desde vivienda inadecuada hasta higiene deficiente, pero es una categoría diferente del abuso físico o sexual, que se investiga por separado en Pensilvania y no está sujeto al algoritmo.

«Trabajadores, sean quienes sean son, no se les debe pedir que tomen, en un año determinado, 14, 15, 16,000 de este tipo de decisiones con información increíblemente imperfecta», dijo Erin Dalton, directora del Departamento de Servicios Humanos del condado y pionera en la implementación de la predicción algoritmo de bienestar infantil.

Nico’Lee Biddle, ex niño de crianza temporal convertido en terapeuta, trabajador social y defensor de políticas, habla sobre el uso de algoritmos basados en datos fuera de una de las oficinas de Niños, Jóvenes y Familias del condado en North Versailles , Pensilvania, el viernes 11 de febrero de 2022. «Esto muestra que cuando tienes tecnología diseñada por humanos, el sesgo aparecerá en los algoritmos». dice Biddle, quien ha trabajado durante casi una década en el bienestar infantil, incluso como terapeuta familiar y especialista en colocación en hogares de guarda en el condado de Allegheny. Crédito: AP Photo/Keith Srakocic

Los críticos dicen que le da a un programa impulsado por datos recopilados principalmente sobre personas pobres un papel descomunal en la decisión del destino de las familias, y advierten contra la creciente dependencia de los funcionarios locales en las herramientas de inteligencia artificial.

Si la herramienta hubiera actuado por sí sola para filtrar una tasa comparable de llamadas, habría recomendado que se investigara a dos tercios de los niños negros, en comparación con aproximadamente la mitad de todos los demás niños informados, según otro estudio publicado. el mes pasado y en coautoría con un investigador que ha auditado el algoritmo del condado.

Los defensores se preocupan de que si se usan herramientas similares en otros sistemas de bienestar infantil con una intervención humana mínima o nula, similar a cómo se han usado los algoritmos para hacer decisiones en el sistema de justicia penal, podrían reforzar las disparidades raciales existentes en el sistema de bienestar infantil.

Los trabajadores reciben llamadas en un centro de detección de llamadas de admisión para la oficina de Servicios para Niños y Jóvenes del Condado de Allegheny en Penn Hills, Pensilvania, el jueves 17 de febrero de 2022. Los incidentes de negligencia potencial se informan a la línea directa de protección infantil del condado de Allegheny. Los informes pasan por un proceso de selección en el que el algoritmo calcula el riesgo potencial del niño y le asigna una puntuación. Los trabajadores sociales luego usan su discreción para decidir si investigar esas inquietudes. Crédito: AP Photo/Keith Srakocic

«No está disminuyendo el impacto entre las familias negras», dijo Logan Stapleton, investigador de la Universidad Carnegie Mellon. «Sobre el punto de precisión y disparidad, (el condado está) haciendo declaraciones fuertes que creo que son engañosas».

Debido a que las audiencias de la corte de familia están cerradas al público y los registros están sellados, AP no fue capaz de identificar de primera mano a las familias a las que el algoritmo recomendó que fueran investigadas obligatoriamente por negligencia infantil, ni a los casos que resultaron en el envío de un niño a un hogar de acogida. Las familias y sus abogados tampoco pueden estar seguros del papel del algoritmo en sus vidas porque no se les permite conocer los puntajes.

Las agencias de bienestar infantil en al menos 26 estados y Washington, DC, han considerado usar herramientas algorítmicas, y al menos 11 las han implementado, según la Unión Estadounidense de Libertades Civiles.

Personas caminan hacia el Centro de Derecho Familiar en Pittsburgh, el jueves 17 de marzo de 2022. Funcionarios de bienestar infantil en el condado de Allegheny dicen que las La herramienta algorítmica que está captando la atención en todo el país utiliza datos para apoyar a los trabajadores de agencias en su intento de proteger a los niños del abandono. El término matizado puede incluir todo, desde viviendas inadecuadas hasta mala higiene. Crédito: AP Photo/Matt Rourke

El condado de Larimer, Colorado, hogar de Fort Collins, ahora está probando una herramienta modelada en Allegheny’s y planea compartir puntajes con las familias si sigue adelante con el programa.

«Es su vida y su historia», dijo Thad Paul, gerente de Children Youth & Family Services del condado. «Queremos minimizar la diferencia de poder que conlleva estar involucrado en el bienestar infantil, simplemente pensamos que no es ético no compartir el puntaje con las familias».

Oregon no comparte los números de puntaje de riesgo de su evaluación estatal herramienta, que se implementó por primera vez en 2018 y se inspiró en el algoritmo de Allegheny. El Departamento de Servicios Humanos de Oregón, que actualmente se prepara para contratar a su octavo nuevo director de bienestar infantil en seis años, exploró al menos otros cuatro algoritmos mientras la agencia estaba bajo el escrutinio de una junta de supervisión de crisis ordenada por el gobernador.

El abogado Robin Frank posa para una fotografía afuera del Family Law Center en Pittsburgh, el jueves 17 de marzo de 2022. Frank, abogado de derecho familiar desde hace mucho tiempo, lucha por los padres en uno de sus puntos más bajos cuando corren el riesgo de perder a sus hijos. Crédito: AP Photo/Matt Rourke

Recientemente, detuvo un algoritmo piloto creado para ayudar a decidir cuándo los niños de crianza pueden reunirse con sus familias. Oregón también exploró otras tres herramientas de modelos predictivos para evaluar el riesgo de muerte y lesiones graves de un niño, si los niños deben ser colocados en hogares de guarda y, de ser así, dónde.

Durante años, California exploró enfoques basados en datos para la sistema de bienestar infantil en todo el estado antes de abandonar una propuesta para usar una herramienta de modelado de riesgo predictivo en 2019.

«Durante el proyecto, el estado también exploró las preocupaciones sobre cómo la herramienta puede afectar la equidad racial. Estos hallazgos dieron como resultado que el estado el cese de la exploración», dijo el portavoz del departamento, Scott Murray, en un correo electrónico.

El Departamento de Servicios para Niños y Familias del condado de Los Ángeles está siendo auditado luego de muertes infantiles de alto perfil, y está buscando un nuevo director después de que el anterior renunció. cayó a finales del año pasado. Está probando un «algoritmo de riesgo complejo» que ayuda a aislar los casos de mayor riesgo que están siendo investigados, dijo el condado.

• La abogada Robin Frank camina hacia el Family Law Center en Pittsburgh, el jueves 17 de marzo de 2022. El trabajo nunca es fácil, pero en el pasado sabía a lo que se enfrentaba cuando se enfrentaba. otra vez st servicios de protección infantil en el juzgado de familia. Ahora, le preocupa que esté luchando contra algo que no puede ver: un algoritmo opaco cuyos cálculos estadísticos ayudan a los trabajadores sociales a decidir qué familias soportarán los rigores del sistema de bienestar infantil y cuáles no. Crédito: AP Photo/Matt Rourke
• El abogado Robin Frank habla con un asistente legal en su oficina en Pittsburgh, el jueves 17 de marzo de 2022. Frank, un abogado de derecho familiar abogado en Pittsburgh, todavía está tratando de desentrañar cómo, exactamente, el algoritmo del condado de Allegheny está afectando a cada cliente que guía a través del sistema. "No hay forma de demostrar que ese es el problema" dice franco. Crédito: AP Photo/Matt Rourke
• El abogado de derecho familiar Robin Frank firma una tarjeta de cumpleaños para enviársela a un excliente, en Pittsburgh, el jueves 17 de marzo de 2022 Mantiene un calendario de cumpleaños para los niños a los que ha ayudado y les envía tarjetas escritas a mano para recordar los momentos en que las cosas salieron bien. Frank todavía está tratando de desentrañar cómo, exactamente, el algoritmo del condado de Allegheny está afectando a cada cliente que guía a través del sistema. Crédito: AP Photo/Matt Rourke

<li data-thumb="https://scx1.b-cdn.net/csz/news/tmb/2022/an-algorithm-that-scre-9.jpg" data-src="https://scx2.b-cdn.net/gfx/news/hires/2022/an-algorithm-that-scre-9.jpg" data-sub-html="La luna se pone detrás de las casas en Pittsburgh, jueves 17 de marzo de 2022. En todo el país, mientras las agencias de bienestar infantil usan o consideran herramientas algorítmicas como en el condado de Allegheny, una revisión de Associated Press ha identificado una serie de preocupaciones sobre la tecnología, incluidas preguntas sobre su confiabilidad y su potencial para endurecer las disparidades raciales en el sistema de bienestar infantil Credit: AP Photo/Matt Rourke , una revisión de Associated Press ha identificado una serie de preocupaciones sobre la tecnología, incluidas preguntas sobre su confiabilidad y su potencial para endurecer las disparidades raciales en el sistema de bienestar infantil. artículo Crédito: AP Photo/Matt Rourke

En los primeros meses en que los trabajadores sociales en la ciudad de Lancaster, en el desierto de Mojave, comenzaron a usar la herramienta, sin embargo, los datos del condado muestran que los niños negros eran objeto de casi la mitad de todas las investigaciones se marcaron para un escrutinio adicional, a pesar de que representan el 22 % de la población infantil de la ciudad, según el censo de EE. UU.

El condado no dijo de inmediato por qué, pero dijo que decidirá si ampliar la herramienta a finales de este año.

Explore más

Una mejor manera de reducir el maltrato infantil

2022 The Associated Press. Reservados todos los derechos. Este material no puede ser publicado, transmitido, reescrito o redistribuido sin permiso.

Cita: Un algoritmo que detecta la negligencia infantil plantea preocupaciones (29 de abril de 2022) recuperado el 29 de agosto de 2022 de https://medicalxpress.com/news/2022-04-algorithm-screens -child-neglect.html Este documento está sujeto a derechos de autor. Aparte de cualquier trato justo con fines de estudio o investigación privados, ninguna parte puede reproducirse sin el permiso por escrito. El contenido se proporciona únicamente con fines informativos.