ChatGPT può scoprire i deepfake di testi e immagini generati dall’intelligenza artificiale che dominano i feed dei social media e i siti Web?
I modelli linguistici di grandi dimensioni (LLM) hanno mostrato prestazioni inferiori nel riconoscimento dei deepfake rispetto agli algoritmi di rilevamento più avanzati, ma la loro capacità di elaborazione del linguaggio naturale potrebbe renderli più efficaci in futuro.
Questo è quanto emerge da uno studio guidato dall’Università di Buffalo, in collaborazione con l’Università di Albany e l’Università cinese di Hong Kong, presentato la scorsa settimana alla conferenza IEEE/CVF su Computer Vision & Pattern Recognition.
ChatGpt può scoprire un deepfake?
La maggior parte delle persone associa l’intelligenza artificiale a ChatGPT e ai deepfake. Testi e immagini generati dall’intelligenza artificiale dominano i social media e i siti web e vengono spesso utilizzati per diffondere informazioni inaffidabili e fuorvianti. Nello studio, i ricercatori hanno chiesto agli LLM, tra cui ChatGPT di OpenAI e Gemini di Google, di individuare i deepfake di volti umani.
“Ciò che distingue gli LLM dai metodi di rilevamento esistenti è la capacità di spiegare le loro scoperte in modo comprensibile per gli esseri umani, come l’identificazione di un’ombra sbagliata o di un paio di orecchini non corrispondenti”, ha detto Siwei Lyu, del Dipartimento di Informatica e Ingegneria della UB School of Engineering and Applied Sciences e autore principale dello studio.
“Gli LLM non sono stati progettati o addestrati specificamente per il rilevamento dei deepfake, ma la loro conoscenza semantica li rende adatti a questo scopo. Pertanto, ci aspettiamo di vedere maggiori sforzi verso questa applicazione”, ha affermato Lyu.
Le versioni più recenti di ChatGPT e altri LLM possono anche analizzare le immagini. Questi LLM multimodali utilizzano grandi database di foto con didascalie per identificare le relazioni tra parole e immagini.
“Anche gli esseri umani fanno lo stesso: che si tratti di un segnale di stop o di un meme virale, assegniamo costantemente una descrizione semantica alle immagini”, ha spiegato Shan Jai, del laboratorio UB Media Forensic Lab e primo autore dello studio.
“In questo modo, le immagini diventano il loro linguaggio”, ha proseguito Jai. La squadra del Media Forensics Lab ha deciso di verificare se GPT-4 con visione (GPT-4V) e Gemini 1.0 fossero in grado di distinguere tra volti reali e volti generati dall’intelligenza artificiale.
Gli scienziati hanno fornito loro migliaia di immagini di volti reali e deepfake, chiedendo di identificare eventuali segni di manipolazione o artefatti sintetici. ChatGPT è stato accurato nel 79,5% dei casi nel rilevare artefatti sintetici in immagini generate dalla diffusione latente e nel 77,2% dei casi in immagini generate da StyleGAN.
“I risultati sono paragonabili a quelli ottenuti con i metodi di rilevamento dei deepfake precedenti, quindi, con una guida adeguata e tempestiva, ChatGPT può svolgere un buon lavoro nel rilevare le immagini generate dall’intelligenza artificiale”, ha dichiarato Lyu, co-direttore del Centro per l’integrità delle informazioni dell’UB.
Inoltre, ChatGPT è in grado di spiegare le sue decisioni in modo chiaro. Quando gli è stata presentata una foto generata dall’intelligenza artificiale di un uomo con gli occhiali, il modello ha correttamente rilevato che “i capelli sul lato sinistro dell’immagine sono leggermente sfocati” e “la transizione tra la persona e lo sfondo è brusca e manca di profondità”.
“I modelli di rilevamento deepfake esistenti indicano la probabilità che un’immagine sia reale o falsa, ma raramente spiegano il motivo di questa conclusione”, ha aggiunto Lyu.
“E – ha aggiunto Lyu – anche analizzando i meccanismi alla base del modello, ci saranno caratteristiche che non riusciremo a comprendere completamente”.
“Nel frattempo, tutto ciò che ChatGPT produce è comprensibile per gli esseri umani”, ha evidenziato Lyu. Questo perché ChatGPT basa la sua analisi sulla conoscenza semantica.
Mentre i tradizionali algoritmi di rilevamento dei deepfake distinguono il vero dal falso addestrandosi su ampi set di immagini etichettate, le capacità di linguaggio naturale degli LLM conferiscono loro una sorta di comprensione intuitiva della realtà, inclusa la simmetria dei volti umani e l’aspetto delle fotografie reali.
“Una volta che la componente visiva di ChatGPT riconosce che un’immagine rappresenta un volto umano, la componente linguistica può dedurre che un volto ha tipicamente due occhi e così via. La componente linguistica crea una connessione più profonda tra i concetti visivi e verbali”, ha spiegato Lyu.
Lo studio suggerisce che la conoscenza semantica e l’elaborazione del linguaggio naturale di ChatGPT lo rendono uno strumento di rilevamento dei deepfake più user-friendly sia per gli utenti che per gli sviluppatori.
“Di solito, le intuizioni sul rilevamento dei deepfake vengono tradotte in linguaggio di programmazione; ora, tutte queste conoscenze sono presenti in un unico modello e basta utilizzare il linguaggio naturale per farle emergere”, ha osservato Lyu.
“Le prestazioni di ChatGPT erano inferiori rispetto ai più recenti algoritmi di rilevamento dei deepfake, che hanno tassi di accuratezza intorno al 90%”, ha precisato Lyu. Questo è in parte dovuto al fatto che gli LLM non riescono a rilevare le differenze statistiche a livello di segnale, invisibili all’occhio umano ma spesso utilizzate dagli algoritmi di rilevamento per individuare le immagini generate dall’intelligenza artificiale.
“ChatGPT si è concentrato solo sulle anomalie a livello semantico”, ha spiegato Lyu. “L’intuitività semantica dei risultati di ChatGPT potrebbe essere un’arma a doppio taglio per il rilevamento dei deepfake”, ha aggiunto. Inoltre, altri LLM potrebbero non essere altrettanto efficaci nello spiegare le loro analisi.
Pur avendo ottenuto risultati comparabili a quelli di ChatGPT nell’individuare la presenza di artefatti sintetici, le prove a sostegno di Gemini erano spesso insensate, come l’indicazione di nei inesistenti. Un altro inconveniente e’ che i LLM si sono spesso rifiutati di analizzare le immagini.
Quando si chiedeva direttamente se una foto fosse stata generata dall’intelligenza artificiale, ChatGPT rispondeva in genere con: “Mi dispiace, non posso rispondere a questa richiesta”. “Il modello è programmato per non rispondere quando non raggiunge un certo livello di fiducia“, ha commentato Lyu. “Sappiamo che ChatGPT possiede informazioni rilevanti per il rilevamento di deepfake, ma, ancora una volta, è necessario un operatore umano per stimolare questa parte della sua base di conoscenze”, ha notato Lyu.
“L’ingegneria dei prompt e’ efficace, ma non molto efficiente, quindi il passo successivo è scendere di un livello e mettere a punto gli LLM per questo compito specifico”, ha concluso Lyu.
