Oftalmología, la única "debilidad" del ChatGPT para aprobar el examen MIR

Los aspirantes MIR no son los únicos que pueden mejorar, con el tiempo y estudio, sus resultados de la prueba. La inteligencia artificial también ha 'hincado los codos' en el último año y ha conseguido un mejor resultado al enfrentarse a uno de los últimos exámenes MIR, con el que la versión actualizada de ChatGPT ha mostrado una "preferencia" y mayor dominio por ciertas especialidades como Dermatología o Reumatología. Así lo plasma un estudio llevado a cabo por la Universidad de Murcia en el que han participado Álvaro Cerame, presidente de la Asociación Europea de Médicos Jóvenes y parte de la vocalía de médicos jóvenes de la Organización Médica Colegial (OMC), entre otros.

El estudio '¿Es capaz GPT-4 de aprobar el MIR 2023? Comparativa entre ChatGPT 4 y ChatGPT 3 en los exámenes MIR 2022 y 2023' refleja que la herramienta de IA ha sido capaz de acertar 173 preguntas de un total de 210 preguntas del examen MIR 2023, lo que supone 65 aciertos más que el obtenido en el examen MIR 2022 con ChatGPT 3 (108 de 210). "En la comparación por especialidades, GPT 4 mostró mayor capacidad de acierto en la mayor parte de las especialidades, con especial diferencia en Reumatología, Dermatología, Pediatría y Neurología", explican.

Sin embargo, en algunas especialidades como Neumología, Maxilofacial y Otorrinolaringología, el incremento en aciertos "fue menos pronunciado". Se observaron las mismas tasas de acierto en Nefrología, Medicina Legal y Ética y Unidad de Cuidados Intensivos (UCI) y solo se observó un peor rendimiento en Oftalmología. 

Redacción Médica también realizó un análisis previo del examen MIR con inteligencia artificial, en el que ChatGPT se examinó de un total de 184 preguntas de la versión 0 del examen MIR 2024. Una vez publicadas las respuestas provisionales de la prueba para médicos residentes, se cotejaron los aciertos y llegó a acertar hasta 136, consiguiendo un 73 por ciento de respuestas correctas.

Más aciertos en los casos clínicos del MIR

El rendimiento por tipo de pregunta mostró una "mejora sustancial" con ChatGPT 4 en todas las categorías de preguntas, siendo mayor en las preguntas tipo caso clínico y menor en las formuladas en formato negativo. "Al realizar la comparación de los resultados entre las herramientas por el tipo del contenido de las preguntas, ChatGPT 4 superó a ChatGPT 3 especialmente en áreas como Fisiopatología, Tratamiento, Estadística y Diagnóstico", determinan.

La conclusión de este estudio refleja que la última versión ha demostrado "un mejor rendimiento en comparación con ChatGPT 3", indicando avances en el procesamiento y análisis de datos por parte de la IA, así como en su comprensión contextual y aplicación de conocimientos médicos: "Sin embargo, se enfatiza la importancia de reconocer las limitaciones de la IA y la necesidad de un enfoque crítico en su uso en educación médica".

Y es que las implicaciones de estos avances para la educación médica "son significativas". El informe indica que ChatGPT 4 podría servir como una herramienta complementaria para la enseñanza y el aprendizaje, ofreciendo a los estudiantes de Medicina una forma interactiva y adaptativa de reforzar sus conocimientos y habilidades clínicas. Además, también emerge como una herramienta para los formadores, con la que generar preguntas, casos clínicos, herramientas y ejercicios de aprendizaje con los que enriquecer la formación de sus estudiantes.

"Sin embargo, la fascinación generada por una IA que aprueba un examen MIR amerita una reflexión crítica. Es imprescindible reconocer que, aunque este logro destaca la evolución y el potencial no debe interpretarse como una equiparación directa a la competencia clínica humana. Un examen, por su naturaleza, evalúa conocimientos bajo condiciones y formatos específicos, lo cual difiere sustancialmente de la complejidad y dinamismo e impredictibilidad de la práctica médica real", concluye el estudio.