TL;DR
Il 3 novembre 2026 un ricercatore della Shandong University ha controllato due classifiche pubbliche di agenti e ha trovato quattro errori nel software di misura, non negli agenti (arXiv 2611.04399). Una classifica valutava un agente nel 98 per cento delle esecuzioni e il rivale nel 51, contava come fallimenti la metà non valutata e produceva un divario di tredici punti che svanisce appena quelle esecuzioni vengono valutate. La mia tesi: il mercato degli agenti si prezza su numeri prodotti da codice che nessuno controlla, e il controllo che intercetta il caso peggiore non costa niente. Prima di confrontare due punteggi, chiedi quante esecuzioni sono state valutate.
Assunto di partenza: i manutentori di HAL hanno riprodotto tutti e tre i problemi segnalati e pubblicato avvisi datati in circa cinque settimane, quindi la storia riguarda strumenti non auditati, non la malafede. Obiettivo: uscire con quattro domande per la prossima valutazione di un modello, tre delle quali gratis.
Cosa ha trovato l'audit
I tredici punti sono finiti nel titolo. Erano la parte meno interessante.
Il costo era raddoppiato. Una span contenitore e la sua figlia riportavano lo stesso consumo e l'aggregatore sommava entrambe: esattamente il doppio in 70 esecuzioni su 134, e il 36,5 per cento sopra la cifra reale nel complesso.
Il valutatore scriveva nel log dell'agente. La sequenza corretta usata per il punteggio risultava registrata come azione dell'agente nel 68 per cento di 2.334 record archiviati. In 58 di questi l'agente non ha chiamato nessuno strumento, e la traccia mostra la sequenza giusta per intero.
Rivalutare ha spostato la classifica. Una correzione annunciata ha invertito 4 confronti su 136. Su un altro benchmark un controllo sui file ne ha letti male quattro e i punteggi sono scesi da 59 a 82 punti, senza nessun errore a schermo. Il comando, scrive l'autore, "stampa un numero".
Perché il numero resta in piedi comunque
Hubble è partito nell'aprile 1990 con uno specchio lavorato nella forma sbagliata. L'apparato che lo aveva certificato teneva una lente fuori posizione di 1,3 mm, quindi confermava l'errore che aveva introdotto. Altri due strumenti mostravano l'aberrazione e sono stati messi da parte entrambi, perché il primo era etichettato certificato e loro no: una parola che la commissione d'inchiesta ha scoperto non essere mai stata definita da nessuna parte.
Uno strumento diventa autorevole perché è quello che citano tutti. Da quel momento, non essere d'accordo con lui sembra un difetto di chi lo contesta.
Perché ti riguarda, e cosa chiedere
Menlo Ventures stima la spesa enterprise in AI a circa 177 miliardi di dollari a settembre 2026, con l'86 per cento della spesa in API su due soli fornitori, scelti per capacità e non per prezzo. La capacità, in pratica, è un numero preso da una classifica.
Ad aprile 2026 la EvalEval Coalition ha stimato una tornata in stile HAL intorno ai 40.000 dollari, e circa 320.000 con otto ripetizioni per cella. La loro frase è che la classifica la scrive chi paga la valutazione. Giusto, ed ecco quello che non hanno detto: nessuno di questi quattro errori richiedeva una ripetizione. Tre stavano negli artefatti già pubblicati, trovati da una persona sola.
Quattro domande, quindi. Quale frazione delle esecuzioni è stata valutata? Il costo è calcolato dalle span radice, e qual è il rapporto fra tutte le span e le radici? Ogni azione registrata è marcata come agente, simulatore utente o valutatore? Quale versione del valutatore ha prodotto il punteggio, e dov'è il confronto con la rivalutazione precedente?
La frazione valutata è una colonna sola, ed è quella che decide se stai leggendo una misura o un numero che si stampa.