La relecture, pour validation, de compte-rendu préliminaires produit par des internes est obligatoire mais demande beaucoup de temps aux radiologues séniors. 

Pour évaluer la performance de l'IA générative GPT-4 dans la relecture de ces compte-rendu, 150 erreurs ont été volontairement introduite dans la moitié de 200 compte-rendus d'examens réalisés dans le service de radiologie du CHU de Cologne (Allemagne). 

3 erreurs par compte-rendu en moyenne ont été insérées : les erreurs les plus souvent constatées en pratique  : omission de mots (facture au lieu de fracture par exemple): confusion (anormal au lieu de normal); erreurs grammaticale ou lexicale (pneumothorax au lien de pneumothorax), erreur de coté (droit au lien de gauche), erreur de date, erreurs d'unité (cm au lieu de mm), etc...

6 radiologues (2 séniors, 2 radiologistes, 2 résidents avec 5 ans d'expérience) et GPT-4 ont ensuite lu 200 compte-rendu dont les 100 avec les erreurs volontairement rajoutées. 

La performance dans la détection des erreurs s'est révélée comparable. Un seul radiologue, l'un des deux séniors,  a retrouvé plus d'erreurs que GPT-4 dans les compte-rendus de scanner et d'IRM (98% vs 81%).

Par contre, GPT-4 a mis 11 minutes pour lire 200 compte-rendus

Les radiologues ont mis entre 84 minutes (1,4 h) et 344 min (5,74 h)

En moyenne, GPT-4 a lu un compte-rendu en 3,5 secondes vs 25.1 secondes pour le radiologue le plus rapide.

Les auteurs de l'étude ont calculé que la valorisation économique de la relecture par les radiologues s'établissait à 190.17$ pour les 200 compte-rendus et que GPT-4 ne coutait que 5.78$.

En conclusion, GPT-4 et les LLM de l'IA générative pourrait potentiellement économiser des heures de travail et réduire les coûts. Les enjeux éthiques et notamment la problématique de la confidentialité des données sont cités.
 

Dans un premier temps un tel système pourrait être avant tout éducatif en mettant en évidence les erreurs courantes dans le cadre de la formation des radiologues, notamment grâce au retour immédiat sur les erreurs.  

Source : Potential of GPT-4 for Detecting Errors in Radiology Reports: Implications for Reporting Accuracy

Roman Johannes Gertz, Thomas Dratsch, Alexander Christian Bunck, Simon Lennartz, Andra-Iza Iuga, Martin Gunnar Hellmich, Thorsten Persigehl, Lenhard Pennig, Carsten Herbert Gietzen, Philipp Fervers, David Maintz, Robert Hahnfeldt, Jonathan Kottlors, and Linda Moy

Radiology 2024 311:1