Informations clés
- Les LLM ont du mal à avoir des conversations cliniques cohérentes.
- Les chatbots IA ont du mal à collecter des historiques complets de patients.
- Les modèles tels que le GPT-4 ont du mal à diagnostiquer avec précision les problèmes médicaux.
Une étude récente publiée dans Médecine naturelle met en évidence les limites des chatbots IA dans le monde médical réel. Bien que ces chatbots aient démontré des capacités impressionnantes dans des environnements d’examen simulés, ils sont confrontés à des défis lorsqu’ils interagissent avec les patients de manière dynamique et imprévisible.
Des chercheurs de la Harvard Medical School et de l’Université de Stanford ont développé un cadre appelé « CRAFT-MD » pour évaluer les grands modèles de langage (LLM) dans des interactions réalistes avec des patients. Ils ont constaté que les LLM, tels que GPT-4, avaient du mal à mener des conversations cliniques cohérentes, à collecter des antécédents complets de patients et à diagnostiquer avec précision les problèmes médicaux.
Limites des chatbots IA
Malgré leur succès dans des scénarios de tests standardisés, ces modèles ont éprouvé de grandes difficultés à naviguer dans les complexités des dialogues médicaux réels. L’auteur principal Pranav Rajpurkar de la Harvard Medical School a souligné la nécessité d’une évaluation rigoureuse avant de déployer les LLM en milieu clinique.
L’étude suggère que les chatbots IA, bien que prometteurs, doivent encore être développés pour gérer efficacement les nuances et les défis des interactions réelles avec les patients dans le cadre des soins de santé.
Si vous souhaitez accéder à tous les articles, abonnez-vous ici !
