In een recent onderzoek, gepubliceerd in het American Journal of Emergency Medicine, werd gekeken hoe artificiële intelligentie (AI) zich verhoudt tot specialisten in cardiologie en spoedeisende geneeskunde als het gaat om het interpreteren van elektrocardiogrammen (ecg's).

Het onderzoeksteam onder leiding van Günay et al. evalueerde de prestaties van drie AI-modellen: GPT-4, GPT-4o en Gemini Advanced, in vergelijking met die van cardiologen en urgentieartsen. Hoewel er al veel softwarepakketten voor ecg-analyse zijn geïntegreerd in medische machines, blijft hun vermogen om diagnostische nauwkeurigheid te bieden die gelijk is aan die van artsen beperkt. Het doel van deze studie was om te onderzoeken of deze nieuwe tools, gebaseerd op geavanceerde linguïstische modellen, deze situatie zouden kunnen verbeteren.

Methodologie
Het onderzoek vond plaats tussen mei en juni 2024 en gebruikte het handboek “150 ECG Cases” als referentie. De onderzoekers selecteerden 40 ecg-gevallen, verdeeld in twee categorieën: routinegevallen en complexere gevallen. Deze ecg's werden vervolgens voorgelegd aan AI en aan een groep van 24 ervaren artsen, bestaande uit cardiologen en urgentieartsen. Elke groep moest diagnostische vragen beantwoorden op basis van de ecg-tracings en de resultaten werden vergeleken.

Specialisten presteren nog steeds beter dan AI
Uit het onderzoek bleek dat cardiologen in alle categorieën beter presteerden dan de drie AI-modellen. Urgentieartsen presteerden beter dan GPT-4o bij routine-ecg's, wat het belang onderstreept van menselijke expertise bij het interpreteren van resultaten. Van de AI-modellen presteerde GPT-4o beter dan Gemini Advanced en GPT-4 in bepaalde categorieën, met name complexe gevallen, maar de nauwkeurigheid was nog steeds lager dan die van artsen.

De consistentie van de antwoorden van de AI's werd gemeten met de Kappa-test, een statistisch hulpmiddel dat de overeenstemming tussen verschillende bronnen evalueert. De resultaten lieten een slechte overeenkomst zien voor GPT-4 (Kappa = 0,265) en Gemini Advanced (Kappa = 0,347), terwijl GPT-4o een matige overeenkomst liet zien (Kappa = 0,514), hoewel deze niet het niveau van menselijke specialisten haalde.

Conclusie
Dit onderzoek bevestigt dat hoewel AI's een aanvullend hulpmiddel kunnen zijn voor ecg-interpretatie, ze nog niet betrouwbaar genoeg zijn om artsen te vervangen in deze cruciale rol. De GPT-4o AI, die van alle geteste modellen de beste prestaties liet zien, zou in de toekomst een waardevolle assistent kunnen worden, maar voorzichtigheid blijft geboden in de klinische praktijk.