TL;DR
- Un benchmark depositato l'11 novembre 2026 ha passato 18 rilevatori di video manipolati su 10.000 clip, circa il 70% manipolate, ricompresse come le ricomprimono WhatsApp, TikTok, Instagram, X, WeChat e RedNote quando qualcuno le ricondivide.
- Con l'1% di falsi positivi, il rilevatore migliore segnala il 14,1% dei falsi. Quello con l'AUC piu' alta, 0,693, ne segnala l'1,3%. Le due classifiche si contraddicono.
- Un rilevatore forte scende da 0,93 di AUC a poco piu' del caso entro cinque ricodifiche, e li' resta fino a trenta. Mandare un file a qualcuno e' l'attacco.
- L'articolo 50(2) dell'AI Act impone la marcatura leggibile a macchina dal 2 agosto 2026, con due condizioni: "as far as this is technically feasible" e lo "stato dell'arte generalmente riconosciuto". La ricerca sta spostando quello stato dell'arte verso l'esenzione.
Assunti
- I numeri sui video vengono da un preprint, arXiv:2611.14941, di un gruppo della Arizona State University con un coautore alla NYU. Sono misure degli autori sul loro benchmark, non sottoposte a revisione fra pari e non replicate. Le prendo come una misurazione accurata, non come un fatto stabilito.
- I numeri sui watermark vengono da un secondo preprint, arXiv:2607.16010 del 17 luglio 2026, che ha testato implementazioni aperte di KGW, Unigram e SynthID-Text tramite la libreria MarkLLM, non il sistema di produzione di Google. Evidenza piu' debole, la uso come indizio.
- La lettura giuridica e' mia. Il testo dell'articolo 50 e le date del Codice di condotta sono documentati, ma il ragionamento su dove porta la clausola di salvaguardia resta un ragionamento.
Obiettivo
Tre cose vengono vendute come un unico prodotto: marcare il contenuto sintetico quando nasce, riconoscerlo dopo, e l'obbligo giuridico di fare l'una o l'altra. In Europa sono tutte e tre operative, e solo la terza ha una data.
Il numero che nessuno stampa
Il benchmark copre 18 rilevatori, 11 classici e 7 costruiti su modelli visione-linguaggio, su 10.000 video presi da HowTo100M, OpenVid-HD e da un crawl di materiale socialmente fragile che pesa per il 53% dell'insieme. Fra i generatori ci sono Wan2.2, Hunyuan-1.5 e LTX-2, piu' passaggi di sostituzione del personaggio e di reilluminazione.
Sulle metriche di testa il quadro sembra mediocre ma utilizzabile. D3 guida il gruppo con 0,693 di AUC e 0,642 di Macro F1.
Solo che nessuno mette in produzione sull'AUC. Si mette in produzione a un tasso di falsi positivi sostenibile, perche' ogni falso allarme e' un video vero dichiarato falso in pubblico. Fissa quel tasso all'1% e D3 prende l'1,3% dei falsi, mentre WaveRep, che sulla metrica di sintesi sembra peggiore, ne prende il 14,1%. L'ordine si rovescia.
L'AUC e' il numero del comunicato stampa. I veri positivi a un tasso di falsi positivi sopportabile sono il numero che decide se vale la pena pagare qualcuno per smaltire la coda delle revisioni.
Chi confronta i fornitori sull'accuratezza ottiene una classifica che non ha rapporto con quello che sta comprando.
Cosa fanno cinque ricondivisioni
WaveRep segna 0,93 di AUC sulla versione pulita del benchmark. Entro cinque ricodifiche sta attorno a 0,50, e resta piatto fino a trenta. Zero virgola cinque e' una monetina.
Gli autori separano due cause, e la distinzione conta. Generatori nuovi e contenuti non familiari costano accuratezza prima di qualunque compressione: un rilevatore visione-linguaggio passa da 0,74 di AUC su un benchmark piu' vecchio a 0,63 su questo, senza che nulla sia stato ricompresso. Poi la ricompressione delle piattaforme cancella le tracce di basso livello che leggono i rilevatori basati sugli artefatti. D3 tiene attorno a 0,69 in ogni condizione, che e' la stabilita' di un rilevatore che quelle tracce non le stava leggendo.
Quindi quello che distrugge la prova e' il gesto ordinario di condividerla. La conclusione degli autori e' che nessun progetto attuale resiste a tutti e quattro i fattori insieme: cambio di generatore, ricodifica, difetti ottici della camera e contenuto fragile.
La clausola che fa il lavoro
L'articolo 50(2) si applica dal 2 agosto 2026, prorogato al 2 dicembre 2026 per i sistemi gia' sul mercato. Marca l'output in formato leggibile a macchina, rendilo riconoscibile come generato artificialmente, con soluzioni efficaci, interoperabili, solide e affidabili, "nella misura in cui cio' sia tecnicamente possibile", tenuto conto dello stato dell'arte generalmente riconosciuto. Il Codice di condotta sulla trasparenza e' arrivato il 10 giugno 2026, giudicato adeguato dalla Commissione l'8 luglio e dall'AI Board il 9 luglio, con le linee guida del 20 luglio. La Misura 3.4 di quel Codice chiede una soluzione di interoperabilita' per i meccanismi di rilevazione entro il 2 febbraio 2027. Il Codice e' volontario.
Adesso accosta il secondo preprint. Una parafrasi che conserva il significato ha tolto la marcatura dal 100% dei testi KGW, dal 100% di quelli Unigram e dal 98,3% di quelli SynthID-Text, contando solo i testi che i rilevatori avevano riconosciuto in partenza, cosa che non riuscivano a fare fra il 70% e l'83% delle volte sull'output marcato e intatto. Gli autori non assegnano a nessun metodo piu' di due dei cinque criteri Daubert.
Sotto c'e' un circolo. Ogni studio serio su quanto resistono le marcature rafforza la tesi che una marcatura capace di reggere non sia tecnicamente possibile, e la possibilita' tecnica e' la condizione a cui e' appeso tutto l'obbligo. Piu' l'evidenza e' buona, piu' il dovere si alleggerisce, e la conformita' scivola verso la documentazione del tentativo.
Un secolo passato a studiare una macchina che non ha mai funzionato
L'8 ottobre 2002 il National Research Council pubblico' la sua revisione sulla macchina della verita'. Basi scientifiche deboli dopo quasi un secolo di studi, accuratezza troppo bassa per lo screening di sicurezza, e una ragione precisa: un test tarato per produrre pochi falsi allarmi manca la maggior parte dei violatori reali, mentre la popolazione sottoposta a screening e' quasi tutta innocente. Il comitato aggiunse che il poligrafo continua a far ottenere confessioni, grazie alla sua reputazione e non alla sua accuratezza. Stephen Fienberg lo disse in chiaro: "National security is too important to be left to such a blunt instrument."
Le agenzie hanno continuato a usarlo per decenni. Questa e' la parte da portarsi via, perche' l'utilita' di un rilevatore per un'istituzione non e' mai dipesa dal fatto che il rilevatore funzioni.
Perche' questo conta per la tua azienda
Quattro domande, e tre non costano niente.
Chiedi al fornitore di rilevazione i veri positivi all'1% e allo 0,1% di falsi positivi, misurati su contenuti ricondivisi, e rifiuta accuratezza e AUC come risposta. Chiedi cosa fa la curva dopo cinque ricodifiche di piattaforma. Decidi prima chi assorbe il costo di un falso positivo, perche' una registrazione vera etichettata come falsa in pubblico e' l'errore che finisce davanti a un avvocato. E tieni la provenienza sotto la tua custodia, firmata all'origine e conservata nel tuo archivio, invece di contare su rileggerla da un feed pubblico.
Entro il 2 febbraio 2027 l'Europa avra' plausibilmente uno standard di interoperabilita' per leggere una marcatura che la maggior parte delle copie in circolazione non porta piu'. La discussione si spostera' su chi doveva conservare l'originale.