Surgisphere Fallout golpea los esfuerzos de COVID-19 de una organización africana sin fines de lucro
ARRIBA: ISTOCK.COM, FIVEPOINTSIX
Actualización (8 de junio): Surgispheres online COVID-19 Response Center y las cuatro herramientas web alojadas en él se eliminaron del sitio web de la empresa.
Una organización sin fines de lucro en África que promovió una herramienta para ayudar a los médicos a determinar cómo asignar recursos médicos limitados entre los pacientes con COVID-19 se está retractando de sus recomendaciones a raíz de un escándalo que involucró a la empresa que colaboró en el proyecto.
Surgisphere Corporation, una empresa con sede en Illinois fundada en 2008 por el cirujano vascular Sapan Desai, ha sido objeto de críticas en los últimos días por no obtener una validación independiente para los conjuntos de datos utilizados en dos estudios de alto perfil en The Lancet y el New England Journal of Medicine. Ambos documentos ahora se retractaron.
El estudio Lancet, que informó preocupaciones de seguridad sobre el uso del medicamento antipalúdico hidroxicloroquina en pacientes con coronavirus, llevó a la Organización Mundial de la Salud a suspender parte de un ensayo clínico. Las pruebas se reanudaron la semana pasada una vez que los científicos comenzaron a expresar dudas sobre la veracidad de los datos, y los informes de The Scientist y otros medios expusieron serias preocupaciones sobre la empresa.
Originalmente un productor de libros de texto médicos, Surgisphere ha visto crecer su perfil como empresa de análisis de datos desde el comienzo de la pandemia de COVID-19. Trabajando con la Federación Africana de Medicina de Emergencia (AFEM), una organización internacional sin fines de lucro dedicada a apoyar la atención médica en todo el continente, Surgisphere desarrolló una Herramienta de puntuación de gravedad de COVID-19 para ayudar a los médicos a decidir cómo asignar recursos limitados, como oxígeno y ventiladores mecánicos para pacientes que más las necesitan.
En los últimos meses, AFEM ha promocionado la herramienta para su uso en 26 países de África (aunque The Scientist no pudo determinar cuántos médicos están actualmente en uso), y varias instituciones se habían propuesto iniciar estudios de validación de la herramienta en entornos clínicos. Todas esas actividades se han detenido tras las retractaciones y una serie de preguntas sobre Surgisphere y el propio Desai.
Las personas que sufrirán. . . son pacientes africanos. Esa es la desafortunada realidad ahora, independientemente del resultado de las (totalmente necesarias) investigaciones sobre Surgisphere.
Lee Wallis, Federación Africana de Medicina de Emergencia
En un comunicado publicado el 5 de junio, AFEM anunció que recomienda a los médicos que dejen de usar la herramienta. Reconocemos que hemos promovido el uso de esta herramienta, y nos avergüenza que estos hallazgos en torno a Surgisphere hayan llevado a nuestra necesidad de rescindir este recurso, se lee en el comunicado.
Durante la última década, AFEM ha trabajado con proveedores de atención médica, investigadores y formuladores de políticas en todo el continente para ampliar la atención de emergencia, continúa el comunicado. Hemos construido una reputación de desarrollar estos sistemas a través de recomendaciones informadas y basadas en evidencia, y lamentamos profundamente que este no haya sido uno de ellos.
Una colaboración para ayudar a la respuesta pandémica de África
En entrevistas telefónicas y correspondencia por correo electrónico con The Scientist, el presidente fundador de AFEM, Lee Wallis, dice que contactó a Surgisphere para desarrollar una ayuda clínica para médicos locales hace unos meses, después de descubrir la compañía en línea.</p
El Dr. Desai fue explícito al decir que no necesitaba el logotipo de la empresa asociado con él, y no esperaba que nosotros reconociéramos su participación, le dice Wallis a The Scientist en un correo electrónico. [Desai] nunca pidió patrocinios ni ninguna otra forma de beneficio, y ha expresado en repetidas ocasiones que simplemente quería hacer esto para ayudar en la respuesta a la pandemia.
Según Surgisphere, la empresa desarrolló entonces el Herramienta de puntuación de gravedad que utiliza algoritmos avanzados de aprendizaje automático y la base de datos de miles de pacientes con COVID-19 de la empresa.
La validez de esa base de datos ha sido cuestionada en las últimas semanas por cientos de científicos que dicen que el número de pacientes de varios continentes no parecen cuadrar. En el artículo de Lancet , por ejemplo, Surgisphere afirmó haber acumulado datos sobre más de 63,000 pacientes con COVID-19 hospitalizados en América del Norte hasta el 14 de abril. Pero algunas de las redes de salud más grandes de Nueva York, Nueva Jersey e Illinois, entre los estados más afectados por la pandemia, le dicen a The Scientist que no contribuyeron a la base de datos de la compañía. Múltiples instituciones que alguna vez figuraron en el sitio web de Surgispheres como colaboradores han confirmado a The Scientist que no tienen registros de trabajo con la empresa.
Consulte Lancet, NEJM Estudios de Retract Surgisphere en pacientes con COVID-19
En abril, AFEM había desarrollado una versión en papel de la herramienta de puntuación de gravedad que guía a los médicos a través de una serie de preguntas sobre sus pacientes para predecir la gravedad de cada caso específicamente para su uso en áreas de bajos recursos, y publicitaron la versión web a través de su sitio web. Los ministerios de salud de Sudán y Tanzania incorporaron la herramienta en las pautas clínicas oficiales, dice Wallis. La organización también obtuvo la aprobación de los comités de ética pertinentes para realizar estudios de validación con la herramienta en Sudán y Sudáfrica. La recopilación de datos debía comenzar la próxima semana.
En conversaciones con The Scientist hace unos días, Wallis, quien también forma parte de la junta directiva de la Federación Internacional de Emergency Medicine, señaló la necesidad de cautela al rechazar la versión en papel de la herramienta, en la que él y sus colaboradores habían invertido recursos y esperaban ver a través de estudios de validación. Agregó que las pruebas informales con la herramienta parecían mostrar que funcionaba bien.
Sin embargo, ahora que los coautores de Surgispheres publicaron dos estudios que se han retractado después de no recibir evidencia de la validez de la base de datos de la empresa, el La organización no tiene más remedio que retirar sus recomendaciones y los estudios planificados, le dice Wallis a The Scientist.
Herramienta de puntuación de gravedad COVID-19 de Surgispheres: no era creíble
La herramienta de puntuación de gravedad es una de las llamadas herramientas de apoyo a la toma de decisiones disponibles de forma gratuita en el sitio web de Surgispheres como parte de su Centro de respuesta a la COVID-19.
Para usar la aplicación web, un médico tiene que ingresar detalles sobre los síntomas de un paciente y la salud subyacente, y luego hacer clic para recibir una predicción. La versión en papel guía a los médicos a través de un árbol de decisiones de preguntas sobre si un paciente tiene ciertas condiciones de salud subyacentes o no, y si sus signos vitales están por encima o por debajo de cierto umbral. AFEM sugirió los criterios de pacientes que se incluirán en la herramienta, pero Surgisphere estableció la estructura del árbol y los umbrales en sí.
Surgisphere se ha negado a revelar detalles sobre cualquiera de sus 19 herramientas de soporte en respuesta a múltiples solicitudes de The Scientist, y Desai se negó a comentar sobre esta historia a través de la firma de relaciones públicas Bliss Integrated.
Según Wallis, Desai dijo que la Severidad Scoring Tool se desarrolló utilizando métodos avanzados de aprendizaje automático en datos de 13 500 pacientes hospitalizados con COVID-19, una afirmación repetida en el editorial de Walliss sobre la herramienta en el African Journal of Emergency Medicine a principios de abril. Él dice que Desai también le dijo que la herramienta había sido validada en alrededor de 45,000 pacientes hospitalizados con COVID-19. Un comunicado de prensa del 26 de marzo de Surgisphere afirma que la herramienta se desarrolló utilizando datos en tiempo real recopilados prospectivamente en más de 20 000 pacientes con COVID-19.
Desai afirmó además en su comunicación con Wallis que los algoritmos de aprendizaje automático detrás de la la versión en línea se refinaría automáticamente a medida que la base de datos de Surgisphere continuara creciendo.
Dado que la Herramienta de puntuación de gravedad se derivó inicialmente utilizando datos de Surgisphere, estos datos cuestionados también cuestionan nuestra herramienta.
Federación Africana de Medicina de Emergencia
Casi al mismo tiempo, Desai envió información sobre la herramienta a los investigadores que preparaban un artículo de revisión en The BMJ. Maarten van Smeden, coautor de la revisión y estadístico médico del Centro Médico Universitario de Utrecht en los Países Bajos, y sus colegas han estado haciendo un seguimiento de las herramientas predictivas en uso durante la pandemia de COVID-19. Van Smeden le dice a The Scientist que su equipo contactó a Surgisphere Corporation en marzo y nuevamente en abril para solicitar información sobre cómo funcionaban sus herramientas de respuesta al COVID-19.
En documentos vistos por The Scientist, Desai le dijo al equipo que la herramienta de puntuación de gravedad se había desarrollado utilizando datos de 14 390 pacientes hospitalizados con COVID-19 y validada con datos de 42 340 adicionales. Agregó que el registro completo de Surgisphere al 12 de abril contenía datos de 70,361 pacientes de más de 800 instituciones de atención médica. (Según el artículo de Lancet ahora retirado, el registro contenía 96 032 pacientes de 671 instituciones al 14 de abril).
Le dijo además al BMJ autores que la Herramienta de puntuación de gravedad ya había sido utilizada por 250 000 personas de 114 países.
Los números no cuadraban en esa etapa de la pandemia, dice van Smeden a The Scientist. Teniendo en cuenta la falta de detalles en la descripción de los documentos de desarrollo y validación, encontró todo increíble, dice. Como en, no era creíble. Los autores optaron por no describir la herramienta Surgispheres en su revisión, cuya última versión se publicó el 3 de junio.
Cómo funciona la herramienta en línea
El código detrás de la herramienta de puntuación de gravedad de Surgispheres es accesible a través de la versión HTML del sitio web de la empresa, y contiene las reglas que implementa la aplicación para predecir una puntuación de gravedad moderada/leve, grave o crítica en función de datos como la edad y la frecuencia cardíaca.
Varios investigadores que trabajan con el aprendizaje automático le dicen a The Scientist que, debido a que las reglas subyacentes de la herramienta están codificadas, es decir, todos los pasos y parámetros están escritos, sería muy difícil que la aplicación se actualice automáticamente. mismo, como Desai le había hecho creer a Wallis.
Cada vez que obtienes nuevos datos, tienes que entrar y cambiar esos números, o la estructura del código, dice James Watson, un científico senior en la Unidad de Investigación de Medicina Tropical Mahidol Oxford en Tailandia, quien organizó dos cartas expresando preocupaciones sobre los estudios de Surgispheres. Esa sería claramente la forma incorrecta de hacerlo. Nadie lo haría así.
Un registro de versión que rastrea las principales actualizaciones y cambios en la herramienta de puntuación de gravedad no muestra ninguna entrada después del 31 de marzo, aunque no está claro si se realizaron cambios menores después de eso.
Andrew Forbes, bioestadístico de la Universidad de Monash en Melbourne, señala que la aplicación también parece recopilar datos sin intentar validar la precisión de lo que se ingresa. Después de completar la Herramienta de puntuación de gravedad en línea y hacer clic para recibir la puntuación, un cuadro emergente le pide al usuario que confirme si la predicción fue precisa o no y establece que, siempre que el usuario dé su consentimiento, los datos que ingresó pasarán a formar parte de nuestros más de 13.000 pacientes y ayudar a mejorar la calidad de este sistema de puntuación de gravedad.
La disponibilidad de esta opción plantea serias dudas sobre la calidad de los datos recopilados por la aplicación, escribe Forbes en un correo electrónico a El científico. Me sorprende que cualquier persona que acceda a esta herramienta disponible públicamente pueda hacer que sus datos contribuyan a su base de datos en función de sus entradas desde la página web, independientemente de si los datos ingresados son reales o no.
Agrega que advierte contra el uso clínico de herramientas predictivas que no van acompañadas de descripciones claras de cómo se desarrollaron y validaron, ni de información sobre las fuentes de datos utilizadas para crearlas.
Otras aplicaciones en el sitio web también han sido objeto de escrutinio después de que los científicos comenzaron a compartir sus impresiones sobre ellas en Twitter. La herramienta Diagnóstico, por ejemplo, estima que una persona con fiebre y un intervalo de cinco días hasta los síntomas respiratorios tiene menos del 2 por ciento de probabilidad de infección por COVID-19. Cambiar cinco días a seis días aumenta esa probabilidad a más del 98 por ciento. Marcar una casilla que dice dolor de garganta reduce la probabilidad a menos del 2 por ciento.
Respuesta de AFEM a las críticas a Surgisphere
A principios de junio, tras la cobertura negativa de la prensa de Surgisphere Corporation, los médicos en los hospitales africanos comenzaron a comunicarse con Wallis para decirle que se sentían incómodos al usar la herramienta, le dice a The Scientist. A medida que aumentaban las preguntas sobre el conjunto de datos de Surgispheres, AFEM respondió públicamente con una declaración sobre la herramienta de puntuación de gravedad en su sitio web el 4 de junio.
Hemos sido informados de las controversias relacionadas con Surgisphere Corporation, incluidos los artículos publicados recientemente. en The Lancet y The New England Journal of Medicine utilizando sus datos, se lee en la declaración. Junto a nuestros compañeros de la comunidad científica, esperamos que estas cuestiones sean resueltas rápida y satisfactoriamente por los implicados en los estudios.
Al día siguiente, tanto en The Lancet como en NEJM emitió retractaciones, AFEM emitió un segundo comunicado recomendando que los hospitales dejen de usar la ayuda. Dado que la Herramienta de puntuación de gravedad se derivó inicialmente utilizando datos de Surgisphere, estos datos cuestionados también cuestionan nuestra herramienta, se lee en el comunicado. El equipo de AFEM ha emprendido discusiones urgentes para tomar la decisión más segura y ética en el uso de la herramienta. La versión en papel y el enlace a la versión en línea se eliminaron del sitio web de AFEM.
Ahora, dice Wallis, la organización se enfoca en tratar de ayudar a los equipos a dejar de usar la herramienta. El grupo recomienda en su declaración que los médicos sigan las pautas de la Organización Mundial de la Salud por ahora, y dice que tiene la intención de continuar con la investigación original para desarrollar una herramienta sólida basada en evidencia para ayudar a los médicos a comprender los requisitos de recursos probables de los pacientes que se presentan a las unidades de emergencia con posible enfermedad de COVID-19.
La organización planea comenzar a trabajar de inmediato, dice Wallis, pero llevará meses desarrollar y probar una nueva herramienta. Expresa su preocupación de que la asociación con Surgisphere podría dañar la confianza en AFEM y amenazar los esfuerzos futuros para desarrollar herramientas clínicas para su uso en países africanos. Las personas que sufrirán por eso son los pacientes africanos, escribe en un correo electrónico a The Scientist. Esa es la lamentable realidad ahora, independientemente del resultado de las investigaciones (totalmente necesarias) en Surgisphere. . No hay un buen resultado para nosotros ni para nuestros pacientes en ese contexto.
Más de la investigación de The Scientist sobre Surgisphere
Surgisphere siembra confusión sobre otro no probado Medicamento para el COVID-19
16 de junio de 2020La compañía detrás de un estudio ahora desacreditado sobre la hidroxicloroquina también publicó un informe que ha sido citado por los gobiernos latinoamericanos y recomienda la ivermectina como un posible tratamiento contra el coronavirus. allí dicen que los efectos han sido extremadamente dañinos.
Lancet, NEJM Retiran los estudios de Surgispheres en pacientes con COVID-19
4 de junio de 2020Todos los autores excepto el fundador y director ejecutivo de la compañía, Sapan Desai, no pudo completar una auditoría independiente de los datos, The Lancet afirma.
Las preocupaciones aumentan sobre el conjunto de datos COVID-19 de Surgispheres
2 de junio de 2020NEJM y The Lancet expresan su preocupación a medida que los investigadores cuestionan de dónde obtuvo la empresa sus datos sobre miles de pacientes con coronavirus.
Un estudio en disputa sobre la hidroxicloroquina lleva el escrutinio a Surgisphere
30 de mayo de 2020Los científicos han planteado preguntas sobre el conjunto de datos publicado en The Lancet la semana pasada que desencadenó la suspensión de los ensayos clínicos de todo el mundo y sobre Surgisphere Corporation, la empresa detrás del estudio.
La OMS detiene las pruebas de hidroxicloroquina por motivos de seguridad
27 de mayo de 2020Un artículo publicado en The Lancet informó que los pacientes hospitalizados con COVID-19 que tomaban el medicamento tenían un mayor riesgo de muerte, aunque algunos investigadores han planteado dudas sobre los datos.