La inteligencia artificial mejora su 'lenguaje' y reduce la "brecha" médica

El potencial de la inteligencia artificial crece cada día. Prueba de ello es el estudio que publica este jueves la revista Nature, en el que un panel de expertos otorga una precisión del 92,6 por ciento a las respuestas generadas por esta tecnología de acuerdo con el consenso científico-médico, "lo que demuestra la solidez de la sintonización de instrucciones como técnica de alineación para producir respuestas científicamente fundamentadas". Este nuevo modelo, bautizado como Med-Palm y parecido a ChatGPT, ayuda a "cerrar la brecha" con los médicos y acerca esta tecnología a su aplicación clínica en el mundo real. 

La Medicina, tal y como subrayan los autores de la investigación, "es un esfuerzo humano" en el que el lenguaje permite interacciones clave entre los médicos y los pacientes. Hasta ahora, los modelos de inteligencia artificial (IA) concebidos para la atención médica "han fallado" precisamente en este dominio del lenguaje. Para resolverlo, los autores han realizado un ajuste de solicitud de instrucción, esto es, un enfoque eficiente en parámetros para alinear los modelos de lenguaje extenso (LLM) con nuevos dominios. El resultado ha sido "alentador", ya que han conseguido mejorar la comprensión, el recuerdo del conocimiento y el razonamiento. Sin embargo, pese al "potencial" de los LLM en Medicina, su desempeño sigue siendo inferior al de los profesionales. 

El objetivo de este estudio es evaluar el potencial de los LLM en Medicina a través de preguntas comunes, todo un "desafío" ya que "proporcionar respuestas de alta calidad a las preguntas médicas requiere la comprensión del contexto, recordar el conocimiento médico apropiado y razonar con información experta", advierten los autores.

Para hacer frente a esta cuestión, se valen de un conjunto de datos de 3.173 preguntas médicas buscadas con frecuencia en Google y que abarcan exámenes médicos, investigación médica y preguntas médicas del consumidor, "como un punto de referencia diverso para evaluar el conocimiento clínico y las capacidades de respuesta a preguntas".

Resultados de IA aplicada a la Medicina

Los investigadores toman como referencia algunos modelos de inteligencia artificial con resultados previos para mejorar los resultados. "A pesar del sólido desempeño de Flan-PaLM en las preguntas de opción múltiple, sus respuestas a las preguntas médicas de los consumidores revelan brechas clave. Para resolver esto, proponemos el ajuste de instrucciones, una técnica de alineación eficiente en datos y parámetros, para adaptar aún más Flan-PaLM al dominio médico. El modelo resultante, Med-PaLM, se desempeña de manera alentadora en los ejes de nuestro marco piloto de evaluación humana", se felicitan. 

Entre los resultados esperanzadores está que un panel de médicos consideró que solo el 61,9  por ciento de las respuestas largas de Flan-PaLM estaban alineadas con el consenso científico, en comparación con el 92,6 por ciento de las respuestas de Med-PaLM, a la par con las respuestas generadas por médicos (92,9 por ciento). 

Del mismo modo, "el 29,7  por ciento de las respuestas de Flan-PaLM se calificaron como potencialmente dañinas, en contraste con el 5,9 por ciento de Med-PaLM, que también fue similar al resultado de las respuestas generadas por médicos (5,7 por ciento).

Para la evidencia de recuperación correcta del conocimiento médico, los investigadores encontraron que las respuestas de los médicos obtuvieron una puntuación del 97,8 por ciento, mientras que Flan-PaLM obtuvo una puntuación del 76,3 por ciento. Sin embargo, el modelo Med-PaLM ajustado a las instrucciones obtuvo una puntuación del 95,4 por ciento, lo que redujo la brecha de rendimiento con los médicos.

Por todo ello, los autores señalan que "aunque estos resultados son prometedores, el dominio médico es complejo". Se necesitan más evaluaciones, particularmente en las dimensiones de seguridad, equidad y sesgo,  antes de que estos modelos sean viables para su uso en aplicaciones clínicas, sentencian.