La IA se enfrenta a su asignatura pendiente: conversaciones con pacientes

La Inteligencia Artificial ha supuesto un nuevo paradigma en todos los sectores de la sociedad. En la Medicina, no podía ser menos, sus avances y mejoras suponen un nuevo mundo de herramientas, opciones y mejoras a los sistemas convencionales. Pese a ello, todavía quedan muchos desafíos y obstáculos a los que esta nueva incorporación debe hacer frente y pulir algunos desperfectos.

Partiendo de esta base, un estudio elaborado por investigadores de la Universidad de Harvard, que ha sido publicado en la revista americana New Scientist, ha diseccionado los diferentes puntos fuertes y débiles de la IA en el sector médico para avecinar y bocetar qué puede deparar el futuro en el sector. Dentro de ellos, destaca que obtiene buenos resultados en los exámenes médicos profesionales y en los diferentes modelos lingüísticos, la nueva tecnología presenta déficits en uno de los puntos clave para los médicos.

Conversación y diagnóstico con pacientes 

La asignatura pendiente surge a la hora de entablar una conversación con los pacientes para recopilar información médica clave para poder realizar un diagnóstico preciso. Pranav Rajpurkar, uno de los integrantes del estudio, asegura que “si bien los modelos lingüísticos de gran tamaño muestran resultados impresionantes en pruebas de opción múltiple, su precisión disminuye significativamente en conversaciones dinámicas”.

---

"La precisión disminuye significativamente en las conversaciones dinámicas"

---

Esto se debe particularmente a que “los modelos tienen dificultades con el razonamiento en el diagnóstico abierto”. Los investigadores llegaron a esta conclusión después de desarrollar un método para evaluar las capacidades de razonamiento de un modelo de IA clínica basado en conversaciones simuladas entre pacientes y médicos. El parámetro de evaluación, llamado CRAFT-MD, “refleja situaciones de la vida real, en las que los pacientes pueden no saber qué detalles son cruciales para compartir y solo pueden revelar información importante cuando se les pide que hagan preguntas específicas”, afirma Sherya Johri, otra de las integrantes de la Universidad de Harvard.

Aciertos y errores en los experimentos

Este parámetro basa sus evaluaciones en 2.000 casos médicos que la mayoría se han extraído de los exámenes de certificación profesional en Estados Unidos. GPT-4, una de las IA de referencia, actuaba como un paciente virtual en conversaciones con modelos clínicos y proporcionaba respuestas basadas en datos reales.

En concordancia con los resultados ya expuestos, otros cuatro de los principales lenguajes de la IA apuntaban en un mismo sentido en relación al peor rendimiento en el punto de referencia basado en conversaciones que en los casos escritos. En el primer de los casos, la precisión en el diagnóstico que ofrecía la tecnología apenas alcanzaba el 49 por ciento de acierto, mientras que en los escritos conseguía un 82 por ciento. En otras palabras, casi el doble de efectividad en los casos que no requerían conversaciones con los “pacientes”.

---

"En las conversaciones la IA apenas lograba un 49 por ciento de precisión en los diagnósticos"

---

Otro de los puntos flacos de los modelos de la IA es que tampoco lograron recopilar los historiales médicos completos en un porcentaje significativo de las veces -sólo en un 71 por ciento de las conversaciones con pacientes e incluso después de ello los diagnósticos no siempre fueron los adecuados.

La IA sigue avanzando en la materia sanitaria y, pese al breve periodo de desarrollo que lleva en la sociedad, ha servido como una herramienta clave para optimizar el sector. Sin embargo, todavía queda camino por recorrer y uno de los factores clave en el futuro será el buen diagnóstico de los pacientes en clave con las conversaciones y con la necesidad de optimizar la recopilación de historiales médicos.