TL;DR
Le prove piu' solide che abbiamo su un sistema di AI descrivono quasi sempre un sistema che non puoi piu' far girare. Un paper di settembre ha passato in rassegna 11.628 studi sui modelli linguistici in medicina e ha trovato che i lavori con il disegno piu' rigoroso testano i modelli piu' vecchi, e che il 62% dei trial randomizzati misurava una famiglia di modelli gia' dismessa. Accostando quel dato al calendario di pensionamento che i fornitori pubblicano, lo scarto smette di essere una curiosita' accademica e diventa un problema di acquisti. La sanita' ha gia' inventato la scorciatoia che tutti i settori regolati stanno per copiare.
Chiedere le prove prima di adottare sembra la posizione adulta. Nella maggior parte dei settori lo e'. Con i sistemi di AI chiede in silenzio qualcosa che il calendario delle release ha reso impossibile, e chi sembra piu' prudente finisce per decidere sulle informazioni piu' vecchie presenti nella stanza.
Non e' una lamentela sulla lentezza dei ricercatori. E' aritmetica.
Sei trimestri di prove, sessanta giorni di preavviso
Un paper del 10 settembre 2026 ha esaminato 11.628 record PubMed sui modelli linguistici in medicina, pubblicati fra gennaio 2023 e giugno 2026 su quattordici aree cliniche. Il volume e' cresciuto di 45 volte. La quota di studi con disegno randomizzato, controllato o prospettico: 2,5%.
Poi arriva la parte che meritava piu' attenzione di quanta ne abbia avuta. La distanza fra l'uscita di un modello e la pubblicazione degli studi che lo valutano si e' allargata da 1,33 trimestri a 6,08. I trial randomizzati hanno testato modelli in media 4,6 trimestri piu' vecchi rispetto ai disegni piu' deboli. E il 62% di quei trial randomizzati valutava una famiglia di modelli gia' fuori produzione.
Piu' lo studio e' buono, piu' il modello e' morto.
Adesso mettici accanto il calendario dei fornitori. Il 23 ottobre 2026 OpenAI ha ritirato GPT-4, GPT-4 Turbo, o1, o3-mini e o4-mini, con il preavviso spedito ad aprile. Anthropic ritira Claude Sonnet 4.5 il 30 novembre, annunciato il 30 settembre. Le finestre di preavviso pubblicate arrivano a circa sei mesi per i modelli in disponibilita' generale, almeno sessanta giorni altrove, e quest'anno c'e' stato almeno un fornitore che ha ritirato un modello senza alcun preavviso.
Sei trimestri per produrre le prove. Sessanta giorni per perderne l'oggetto.
L'autorizzazione che misura un'altra cosa
La sanita' la scorciatoia l'ha gia' costruita, e vale studiarla perche' ogni settore regolato sta per copiarla. Dei 1.614 dispositivi con AI autorizzati dalla FDA fino a giugno 2026, circa il 96% e' passato dal canale 510(k): dimostri l'equivalenza sostanziale con qualcosa che e' gia' sul mercato. E' uno standard di confronto, non di esito. La domanda a cui risponde e' se la cosa nuova assomigli alla precedente, non se faccia bene al paziente.
E' un adattamento onesto a una richiesta impossibile. E' anche il modo in cui un modello di previsione della sepsi largamente diffuso e' arrivato al letto del paziente per poi restituire, misurato dopo il rilascio, una sensibilita' del 33% e un valore predittivo positivo del 12%. Circa sette falsi allarmi per ogni avviso su cui valga la pena agire.
Perche' questo riguarda la tua azienda
Se il tuo processo di acquisto chiede al fornitore di dimostrare che quel modello funziona, hai scritto un requisito che nessuno puo' soddisfare onestamente, e hai dato un vantaggio a chi se la cava meglio con le allusioni. Nel frattempo l'unico oggetto che controlli davvero, i tuoi log, resta inesplorato. (Arvind Narayanan quest'anno l'ha detta secca: i benchmark raccontano cosa ha fatto un sistema, i log raccontano come e perche'.)
Il rimedio non e' affascinante. Smetti di validare modelli e inizia a validare procedure: definisci il compito, fissa le soglie di accettazione, misura in continuo sui tuoi dati, e tratta il modello sottostante come un pezzo sostituibile. Cosi' un avviso di pensionamento diventa un ticket di manutenzione invece di una crisi di governance.
Cosa abbiamo smesso di pesare nel 2019
La metrologia ha incontrato questo muro per prima e l'ha risolto. Per 130 anni il chilogrammo e' stato un cilindro di platino conservato vicino a Parigi, e il problema del cilindro era che derivava. Non puoi calibrare il mondo su un oggetto che cambia. Cosi' il 20 maggio 2019 il chilogrammo e' stato ridefinito a partire dalla costante di Planck. L'oggetto e' stato retrocesso. L'invariante e' stato promosso.
David Collingridge avvertiva nel 1980 che quando capisci una tecnologia abbastanza bene per controllarla, controllarla e' diventato costoso. Dava per scontato che la tecnologia stesse ferma almeno il tempo necessario a capirla. Quel presupposto e' scaduto, e si e' portato dietro il concetto di prova.
Noi continuiamo a pesare il cilindro.