Le grand modèle de langage GPT-4 montre, dans une étude publiée dans le Journal of Radiology, que ses performances correspondent à celles des radiologues dans la détection des erreurs dans les rapports de radiologie. Cet outil, plus rapide et plus économique que l’humain, pourrait relever le défi de la surcharge de travail des radiologues.
L’évaluation de grands modèles de langage comme GPT-4 d’OpenAI est un sujet souvent abordé par les chercheurs en imagerie médicale, en raison de l’assistance qu’elle pourrait apporter aux radiologues en routine.
Les différentes applications du GPT-4 en pratique radiologique
Parce que, de temps en temps, des erreurs peuvent survenir dans les rapports de radiologie en raison d’imprécisions dans la reconnaissance vocale ou d’une charge de travail élevée. Les grands modèles de langage, tels que GPT-4, ont le potentiel d’améliorer le processus de génération de ces rapports. C’est ce qu’une équipe allemande cherche à prouver un article publié dans la Revue Radiology.
“Notre recherche fournit un nouvel examen du potentiel du GPT-4 d’OpenAI”, a déclaré l’auteur principal de l’étude, le Dr Roman J. Gertz, résident du département de radiologie de l’hôpital universitaire de Cologne (Allemagne). Des études antérieures ont démontré les applications potentielles du GPT-4 à différentes étapes du parcours du patient en radiologie : par exemple, sélectionner le bon protocole d’examen et d’imagerie en fonction des antécédents médicaux d’un patient, transformer des rapports de radiologie en texte libre en rapports structurés ou générer automatiquement le imprimer la section d’un rapport.
Évaluation de la pertinence du GPT-4 pour la détection d’erreurs dans les rapports de radiologie
Cette étude est la première à comparer distinctement GPT-4 et les performances humaines dans la détection des erreurs dans les rapports de radiologie, en évaluant ses capacités par rapport à des radiologues de différents niveaux d’expérience. Le Dr Gertz et ses collègues ont entrepris d’évaluer l’efficacité du GPT-4 pour identifier les erreurs courantes dans les rapports radiologiques, en se concentrant sur les performances, le temps et la rentabilité.
Pour cette étude, 200 rapports de radiologie (radiographies et imagerie CT/IRM) ont été collectés entre juin 2023 et décembre 2023 dans un seul établissement. Les chercheurs ont inséré 150 erreurs provenant de cinq catégories d’erreurs différentes (omission, insertion, orthographe, confusion secondaire et « autre ») dans 100 de ces rapports. Six radiologues (deux radiologues seniors, deux médecins traitants et deux résidents) et GPT-4 étaient chargés de détecter ces erreurs.
Des scores identiques à ceux obtenus par les radiologues seniors
Les chercheurs ont découvert que GPT-4 avait un taux de détection d’erreurs de 82,7 % (124 sur 150), contre 89,3 % pour les radiologues seniors (134 sur 150) et 80,0 % pour les médecins traitants. et résidents en radiologie (120 sur 150), en moyenne.
Dans l’analyse globale, GPT-4 a détecté moins d’erreurs par rapport au radiologue senior le plus performant (82,7 % contre 94,7 %). Cependant, il n’y avait aucune preuve d’une différence dans le pourcentage de performance moyenne du taux de détection d’erreurs entre GPT-4 et tous les autres praticiens.
Des performances plus rapides et plus économiques
GPT-4 nécessitait moins de temps de traitement par rapport que même le lecteur humain le plus rapide, et l’utilisation de GPT-4 entraînait un coût de correction moyen par rapport inférieur à celui du radiologue le plus rentable.
“Cette efficacité dans la détection des erreurs pourrait laisser présager un avenir dans lequel l’IA pourra aider à optimiser le flux de travail au sein des services de radiologie, en garantissant que les rapports sont à la fois précis et disponibles rapidement, renforçant ainsi la capacité du service de radiologie à fournir des diagnostics rapides et fiables”, ajoute le Dr Gertz.
Un outil qui pourrait répondre efficacement au défi de la surcharge de travail des radiologues
Il note en outre que les résultats de l’étude sont importants en raison de leur potentiel à améliorer les soins aux patients en augmentant la précision des rapports de radiologie à l’aide de la relecture assistée par GPT-4. Démontrant que GPT-4 peut égaler les performances de détection d’erreurs des radiologues, tout en réduisant considérablement le temps et les coûts associés à la correction des rapports, cette recherche montre les avantages potentiels de l’intégration de l’IA dans les services de radiologie.
« L’étude aborde des défis critiques en matière de soins de santé, tels que la demande croissante de services de radiologie et la pression visant à réduire les coûts opérationnels », conclut le Dr Gertz. Nos recherches fournissent un exemple concret de la manière dont l’IA, notamment via des applications comme GPT-4, peut révolutionner les soins de santé en améliorant l’efficacité, en minimisant les erreurs et en garantissant un accès plus large aux services. des outils de diagnostic fiables et abordables – des étapes fondamentales vers l’amélioration des résultats des soins aux patients. »
Bruno Benque avec RSNA
