Un recente studio pubblicato su Nature Medicine dal team dell’Icahn School of Medicine at Mount Sinai ha esaminato l’efficacia di ChatGPT Health, la versione del chatbot OpenAI rivolta al settore medico, nel consigliare agli utenti se cercare assistenza d’emergenza. Il sistema, lanciato a gennaio e utilizzato da circa 40 milioni di utenti al giorno, è stato testato su 60 scenari clinici relativi a 21 specialità mediche. Tre medici indipendenti hanno stabilito il livello di urgenza per ciascun caso, secondo linee guida di 56 società mediche.

I ricercatori hanno riscontrato che, mentre ChatGPT Health si è dimostrato affidabile nei casi di media gravità, ha sottovalutato oltre la metà delle vere emergenze e ha sovrastimato circa due terzi dei casi lievi, destinati invece a una gestione domiciliare. In un esempio, di fronte a sintomi di insufficienza respiratoria iniziale in un caso di asma, il chatbot suggeriva di attendere invece che consigliare il ricorso al pronto soccorso.

La ricerca ha anche segnalato criticità riguardo le situazioni di rischio suicidario: la funzione del sistema che dovrebbe indirizzare ai numeri di emergenza, come la Suicide & Crisis Lifeline, si è attivata in modo incoerente, a volte mancandola anche quando gli utenti esprimevano intenzioni suicidarie.

Un altro aspetto emerso è stato l’influenza sociale. Se in uno scenario un familiare minimizzava i sintomi, ChatGPT Health risultava 12 volte più incline a minimizzare a sua volta la situazione.

Gli autori dello studio sottolineano che nessun ente indipendente valuta al momento questi strumenti prima della loro diffusione pubblica, a differenza di quanto avviene per farmaci e dispositivi medici. Medici esterni allo studio, come Marc Siegel e Harvey Castro, hanno evidenziato che, sebbene strumenti come ChatGPT possano supportare l’accesso alle informazioni sanitarie, non sono sostituti del giudizio clinico umano, in particolare nelle emergenze o nei casi complessi.

Tra le limitazioni riconosciute dagli stessi ricercatori figurano l’uso di scenari scritti da medici piuttosto che conversazioni reali, l’aver testato il sistema in un solo momento (gli aggiornamenti sono frequenti) e la non sufficiente dimensione del campione per valutare eventuali differenze su base demografica.

In conclusione, i ricercatori sostengono che strumenti basati su intelligenza artificiale possano essere utili per comprendere una diagnosi o approfondire dubbi dopo un consulto medico, ma non dovrebbero essere impiegati per decidere se richiedere assistenza urgente. Invitano inoltre a non attendere l’indicazione di un chatbot in caso di sintomi gravi, ma a rivolgersi tempestivamente ai servizi di emergenza.