Estudios recientes indican que el Transformador Generativo Preentrenado 4 con Visión (GPT-4V) supera a los médicos humanos en tareas de desafío médico. Sin embargo, estas evaluaciones se centraron principalmente en la precisión de las preguntas de opción múltiple únicamente.
Nuestro estudio amplía el alcance actual al realizar un análisis integral de los fundamentos de comprensión de imágenes, recuerdo de conocimientos médicos y razonamiento multimodal paso a paso de GPT-4V al resolver los Desafíos de Imágenes del New England Journal of Medicine (NEJM), un cuestionario de imágenes diseñado para evaluar el conocimiento y las capacidades de diagnóstico de los profesionales médicos.
Los resultados de la evaluación confirmaron que GPT-4V tiene un rendimiento comparativamente mejor que los médicos humanos en cuanto a la precisión de las opciones múltiples (81,6 % frente a 77,8 %). GPT-4V también tiene un buen rendimiento en los casos en los que los médicos responden incorrectamente, con una precisión superior al 78 %.
Sin embargo, descubrimos que GPT-4V presenta con frecuencia fundamentos defectuosos en los casos en los que toma las decisiones finales correctas (35,5 %), más prominente en la comprensión de imágenes (27,2 %).
Independientemente de la alta precisión de GPT-4V en preguntas de opción múltiple, nuestros hallazgos enfatizan la necesidad de realizar evaluaciones más profundas de sus para ti, te recomendamos el mejor hosting VPS a bajo costo fundamentos antes de integrar dichos modelos de IA multimodales en los flujos de trabajo clínicos.
Los modelos de lenguaje grandes (LLM) ejemplificados por el transformador generativo preentrenado 4 (GPT-4) han logrado un desempeño notable en varias tareas biomédicas , incluyendo resumir evidencia médica , ayudar en la búsqueda de literatura , responder preguntas de exámenes médicos y hacer coincidir pacientes con ensayos clínicos.
Sin embargo, la mayoría de estos LLM son unimodales, utilizando solo el contexto de texto libre, mientras que las tareas clínicas a menudo requieren la integración de descripciones narrativas y múltiples tipos de pruebas de imágenes.
Recientemente, OpenAI lanzó GPT-4 con Vision (GPT-4V), un LLM multimodal de última generación que permite a los usuarios analizar imágenes y textos juntos. Se han realizado estudios piloto posteriores para analizar el desempeño de GPT-4V en el dominio médico (resumidos en la Tabla complementaria 2 ).
Estas evaluaciones se centraron principalmente en la precisión del GPT-4V para responder a preguntas médicas de opción múltiple y, en algunos casos, el GPT-4V superó a los estudiantes de medicina e incluso a los médicos en entornos de libro cerrado.
Sin embargo, la precisión de las opciones múltiples podría no reflejar la competencia real del GPT-4V y no hay garantía de que las opciones finales correctas se basen en fundamentos subyacentes precisos. Por lo tanto, es imperativo realizar un análisis exhaustivo para evaluar si la toma de decisiones del GPT-4V se basa en fundamentos sólidos y no en conjeturas arbitrarias.
Para salvar esta brecha, utilizamos 207 preguntas de opción múltiple con una sola respuesta correcta del New England Journal of Medicine (NEJM) Image Challenge, ya que esta tarea no es trivial (consulte los resultados de un modelo de base anterior en Métodos).
Específicamente, nos concentramos en evaluar la competencia de GPT-4V para generar tanto la respuesta final como los fundamentos con respecto a tres capacidades:
(1) Comprensión de imágenes , donde el modelo describe la(s) imagen(es) del paciente proporcionadas;
(2) Recuerdo de conocimientos médicos , donde el modelo genera conocimientos médicos relevantes necesarios para resolver la pregunta, como delinear las características radiológicas asociadas con cada opción posible; y
(3) Razonamiento paso a paso , donde el modelo demuestra un razonamiento multimodal detallado para responder la pregunta dada, utilizando el contenido generado tanto de la comprensión de imágenes como del recuerdo de conocimientos médicos. Estos reflejan la naturaleza multimodal de la tarea, así como las capacidades comúnmente evaluadas para los LLM de solo texto.
Referencia: Jin, Q., Chen, F., Zhou, Y. et al. Defectos ocultos detrás de la precisión a nivel experto de la visión multimodal GPT-4 en medicina. npj Digit. Med. 7 , 190 (2024). https://doi.org/10.1038/s41746-024-01185-7
Compartir en
