Un estudio reciente publicado en JAMA Pediatrics revela que ChatGPT-4, la cuarta versión del modelo de IA conversacional, tiene dificultades con los diagnósticos médicos pediátricos, alcanzando una tasa de precisión de solo el 17%. El estudio, realizado por investigadores del Centro Médico Infantil Cohen de Nueva York, comparó el rendimiento de la IA en el diagnóstico de 100 casos pediátricos que se publicaron en JAMA Pediatrics y NEJM entre 2013 y 2023.
El estudio destaca las complejidades de los diagnósticos pediátricos, haciendo hincapié en la necesidad de la experiencia clínica humana. Los retos en el diagnóstico de casos pediátricos a menudo implican tener en cuenta la edad del paciente, lo que lo convierte en una tarea difícil para los modelos de IA. Las bajas tasas de éxito de ChatGPT-4 subrayan el papel indispensable de los pediatras humanos en el proceso de diagnóstico.
En la prueba, ChatGPT-4 proporcionó diagnósticos correctos sólo en 17 de cada 100 casos. El modelo de IA tuvo problemas para captar la especificidad de las afecciones pediátricas, generando a menudo afecciones clínicamente relacionadas demasiado amplias o inespecíficas. El estudio también detectó dificultades para que ChatGPT-4 reconociera relaciones conocidas entre afecciones, como el autismo y el escorbuto, que un médico con experiencia suele tener en cuenta.
A pesar de sus limitaciones, los investigadores sugieren posibles mejoras para ChatGPT-4.
La formación específica y selectiva en literatura médica precisa y fiable, en lugar de basarse en información general de Internet, podría mejorar la precisión diagnóstica del modelo de IA. Además, se propone el acceso en tiempo real a datos médicos para un ajuste continuo como medio de perfeccionar el rendimiento del modelo.
Aunque el estudio indica que ChatGPT-4 aún no está listo para realizar diagnósticos pediátricos, los investigadores ven una oportunidad de mejora mediante una formación específica y el acceso a datos médicos fiables. Los resultados aportan información valiosa para los esfuerzos en curso para integrar la IA en la atención clínica, haciendo hincapié en la necesidad de un enfoque de colaboración entre la tecnología de IA y la experiencia humana en escenarios médicos complejos.