Rilevamento di deepfake tramite intelligenza artificiale generativa: perché gli aspetti legali e tecnici devono collaborare

All'inizio del 2024 un dipendente della società di ingegneria Arup ha approvato un Trasferimento di 25 milioni di dollari Dopo una videochiamata con persone che credeva fossero colleghi di alto livello, si scoprì che nessuna di loro era reale. Ogni volto, ogni voce in quella chiamata era un deepfake generato dall'intelligenza artificiale, e il bonifico bancario fu effettuato prima che qualcuno si rendesse conto che la riunione non era mai avvenuta..

Se ti occupi di frodi, KYC (Know Your Customer) o onboarding in un'azienda regolamentata, il caso Arup non è un'eccezione. È un'anticipazione di ciò che l'intelligenza artificiale generativa può fare per identificare le prove quando gli strumenti di rilevamento sono in ritardo rispetto ai modelli che generano gli attacchi.

Un deepfake generato dall'IA è un audio, un'immagine o un video sintetico prodotto da moderni modelli di diffusione o multimodali, progettato per assomigliare a una persona reale specifica. A differenza dei deepfake dell'era GAN del 2019, questi output non presentano quasi nessuno degli indizi visibili su cui venivano addestrati i primi rilevatori. Se a questo si aggiungono l'inferenza cloud a basso costo e gli strumenti di scambio di volti di livello consumer, il problema del rilevamento non è più un esperimento di laboratorio.

Anche il quadro normativo si sta evolvendo. Articolo 50 della legge UE sull'IA, che entrerà in vigore il 2 agosto 2026, richiede a chi implementa sistemi di intelligenza artificiale che generano contenuti deepfake di rivelare che il contenuto è stato generato artificialmente (Articolo 50 della legge europea sull'intelligenza artificiale, Istituto per il futuro della vitaLa sola rilevazione tecnica non sarà sufficiente. Ciò di cui i team hanno realmente bisogno è un framework a più livelli che combini i segnali biometrici in tempo reale con la provenienza dei contenuti alla fonte e una garanzia di divulgazione legale. Questo articolo illustra il funzionamento di tale framework e cosa significa per il modo in cui si valuta. verifica dell'identità oggi.

Perché l'IA generativa ha rivoluzionato i vecchi schemi di rilevamento.

Per gran parte dell'ultimo decennio, i rilevatori di deepfake hanno cercato piccoli artefatti lasciati dai modelli generativi. Battito di ciglia irregolare, texture della pelle incoerente, illuminazione non uniforme sul viso, lobi delle orecchie deformati dove i dati di addestramento erano scarsi. Quando qualcuno del team antifrode diceva che un selfie "sembrava strano", di solito stava individuando uno di questi segnali senza doverlo nominare esplicitamente.

L'intelligenza artificiale generativa moderna ne ha cancellati la maggior parte. I modelli di diffusione producono texture della pelle che appaiono autentiche a un'ispezione a livello di pixel. I sistemi di clonazione vocale catturano la cadenza e il respiro da pochi secondi di audio. Le pipeline di scambio di volti ora vengono eseguite in tempo reale durante un flusso video, non come una clip pre-renderizzata. UNESCO Un articolo sui media sintetici definisce questo cambiamento una "crisi della conoscenza", perché gli artefatti su cui ci fidavamo un tempo sono scomparsi.

Tre cambiamenti specifici sono importanti per KYC e squadre antifrode.

Innanzitutto, l'accessibilità. Gli strumenti per lo scambio di volti, che un tempo richiedevano una GPU e una settimana di messa a punto, ora funzionano direttamente in un browser. Un truffatore non ha bisogno di competenze di apprendimento automatico per produrre un video convincente del volto di qualcun altro.

In secondo luogo, la superficie di attacco si è spostata. Il software della fotocamera virtuale consente a un utente malintenzionato di iniettare un flusso preregistrato o generato in tempo reale in un flusso di verifica, bypassando completamente la fotocamera reale del telefono. Questo è un attacco di iniezione e non attiva solo RGB. controlli di vitalità che presuppongono che i pixel provengano da un obiettivo reale.

In terzo luogo, la durata di validità del rilevamento si è ridotta. Un classificatore addestrato sui deepfake dell'anno scorso è notevolmente più debole rispetto ai modelli di quest'anno. 2024 NIST GenAI Uno studio pilota ha dimostrato che l'accuratezza del rilevamento resiste agli attacchi di tipo riassuntivo, ma ha segnalato la deriva del modello come un rischio costante per qualsiasi rilevatore implementato.

Il quadro giuridico emergente è basato sui diritti, non solo sugli aspetti tecnici.

Le autorità di regolamentazione hanno smesso di trattare i deepfake esclusivamente come una tipologia di frode. La nuova impostazione si avvicina maggiormente a un problema di diritti umani, in cui i media sintetici minacciano l'identità, la reputazione e il consenso informato. Un recente articolo sottoposto a revisione paritaria sull'International Journal of Law, Crime and Justice sostiene proprio questo cambiamento, proponendo un quadro giuridico che tratti rilevamento deepfake come dovere di tutela dei diritti piuttosto che come funzionalità della piattaforma.

L'articolo 50 della legge europea sull'intelligenza artificiale (IA) rappresenta la prima scadenza improrogabile. A partire dal 2 agosto 2026, chi utilizza sistemi di IA che generano o manipolano immagini, audio o video che costituiscono un deepfake dovrà dichiarare che il contenuto è stato generato artificialmente. La stessa disposizione prevede l'obbligo di contrassegnare in modo leggibile dalle macchine i contenuti sintetici e di informare gli utenti quando interagiscono con un sistema di IA. Le esenzioni sono limitate e riguardano le indagini penali legittime e le opere palesemente artistiche o satiriche.

La Commissione europea ha lavorato sui dettagli di implementazione attraverso il suo Codice di condotta sulla marcatura e l'etichettatura dei contenuti generati dall'IA, la cui versione definitiva è prevista per giugno 2026, prima dell'entrata in vigore dell'articolo 50. Per un team antifrode o di conformità, la conseguenza pratica è che l'affermazione "non siamo riusciti a capire che fosse falso" non sarà più una valida difesa nei processi di onboarding regolamentati a partire da quella data.

L'altro pezzo del puzzle è la provenienza del contenuto. C2PA Lo standard C2PA, sviluppato dalla Coalition for Content Provenance and Authenticity, definisce come i file multimediali possono contenere metadati a prova di manomissione che indicano chi li ha creati, con quale strumento e come sono stati modificati. C2PA non è un rilevatore di deepfake. Registra la cronologia. Abbinato al rilevamento, fornisce ai team due segnali indipendenti da confrontare quando un invio arriva attraverso un flusso di verifica.

Un modello di rilevamento a tre livelli per i team KYC e antifrode

La risposta duratura ai deepfake generativi basati sull'intelligenza artificiale non risiede in un singolo classificatore più intelligente. La difesa a più livelli è fondamentale, perché nessun livello sopravvive da solo.

Il primo livello è il rilevamento biometrico in tempo reale. Questo analizza i segnali che una telecamera può produrre in tempo reale durante la verifica. L'analisi nel dominio della frequenza individua gli artefatti invisibili nella visualizzazione RGB, ma che diventano visibili quando l'immagine viene trasformata. I controlli di profondità 3D e parallasse confermano la presenza effettiva di un volto tridimensionale. Gli indizi comportamentali, inclusi i micromovimenti e le risposte a stimoli passivi, distinguono una persona reale da un flusso video riprodotto o iniettato. Un livello di rilevamento della vitalità ben progettato individua anche gli attacchi di iniezione provenienti da telecamere virtuali, non solo da foto stampate e registrazioni dello schermo.

Il secondo livello riguarda la provenienza dei contenuti. Quando un contenuto inviato include le credenziali C2PA, un sistema di verifica può controllare chi ha firmato il contenuto, quale fotocamera o strumento di editing è stato utilizzato e se i metadati sono stati modificati dopo la creazione. Leica, Samsung e Google hanno iniziato a integrare la firma C2PA nativa nei dispositivi consumer, quindi i contenuti multimediali con credenziali non sono più una teoria. Un contenuto inviato senza credenziali non è automaticamente fraudolento, ma la sua assenza è un segnale che vale la pena considerare nella valutazione del rischio.

Il terzo livello è costituito dalla revisione umana integrata dal meccanismo di garanzia legale in materia di divulgazione. La revisione ibrida, che combina intelligenza artificiale e controllo umano, gestisce i casi limite in cui l'affidabilità dell'automazione è bassa e indirizza le sessioni ambigue a revisori esperti, anziché imporre un'accettazione o un rifiuto binario. Gli obblighi di divulgazione previsti dall'articolo 50, una volta entrati in vigore, trasformano il livello legale in una parte integrante e vincolante dell'architettura. I contenuti che avrebbero dovuto essere etichettati e non lo sono stati costituiscono una violazione documentata, rafforzando la posizione delle aziende che hanno agito con la dovuta diligenza.

Prossimi passi pratici per i team di conformità e antifrode

Vale la pena eseguire alcuni controlli sul tuo attuale verifica dell'identità si accumula prima che l'articolo 50 entri in vigore.

Chiedete al vostro fornitore se il suo modello di rilevamento della vitalità rileva anche l'iniezione di telecamere virtuali, oltre agli attacchi basati su immagini stampate e registrazioni dello schermo. Chiedete se il rilevamento è convalidato da un ente governativo o indipendente, anziché dal laboratorio del fornitore stesso, poiché i dati di accuratezza autodichiarati hanno una scarsa affidabilità contro gli attuali vettori di attacco. Confermate l'esistenza di una procedura di revisione per le sessioni in cui l'affidabilità automatizzata è bassa, poiché è proprio la decisione completamente automatizzata sugli attacchi basati sull'IA generativa che permette alle frodi legittime di passare inosservate.

Allineate fin da ora la formulazione delle vostre informative di onboarding all'obbligo previsto dall'articolo 50, anziché doverlo adeguare a posteriori nel luglio 2026. Il testo del Codice di condotta, che verrà pubblicato a giugno, specificherà i dettagli, quindi prevedete un margine di tempo nella fase di revisione per poterlo integrare.

I deepfake generativi basati sull'intelligenza artificiale sono già integrati nei flussi di verifica in tempo reale, e il divario tra "la nostra verifica di vitalità è superata" e "abbiamo verificato che si tratta di una persona reale" è il punto in cui si verificano perdite come quella del caso Arup. Rilevamento di deepfake di Shufti Combina una protezione anti-spoofing multilivello su oltre 56 vettori di attacco con un sistema ibrido di intelligenza artificiale e revisione umana, monitoraggio attivo e passivo dello stato di attività e implementazione on-premise, cloud o ibrida. Richiedi una demo Eseguire un esempio di deepfake generativo basato sull'IA attraverso la pipeline e vedere il verdetto.