Ecco una regola di due diligence che non mi ha mai tradito: un'azienda di AI non la puoi valutare dalla sua AI.
Il modello è la commodity, la demo è la parte facile. Quello che vuoi davvero sapere è se la cosa sopravvive all'impatto con la realtà, e la realtà è noiosa, quindi l'azienda la valuti dalla sua noia.
La demo è la parte facile
L'88% dei pilot AI non arriva mai in produzione, e MIT Sloan ha messo il fallimento dei pilot di AI generativa al 95%. La mediana tra approvazione del pilot e spegnimento è 14 mesi.
Nessuno di questi è un fallimento del modello: il modello che fa girare la demo abbagliante è lo stesso che muore in produzione. Il gap non è la capacità, è tutto ciò da cui il modello dipende, i dati sporchi, i sistemi legacy, gli utenti ostili, i fallimenti che non sembrano fallimenti finché non li trova prima un cliente.
Una demo gira su dati puliti in una stanza controllata. La produzione gira un martedì qualunque, quando l'API a monte ha cambiato lo schema e nessuno te l'ha detto. La demo ti dice che l'azienda sa fare una demo, tutto qui.
Che faccia ha la noia
Quindi quando mi chiedono di guardare un'azienda di AI, la demo non la guardo, faccio domande noiose.
Avete un golden dataset, un insieme versionato di input e output attesi su cui calcolate uno score? Ogni quanto girate le evals, e cosa succede quando un numero scende? Qual è il vostro tasso di allucinazione, e come lo misurate? Quando il modello sbaglia, il sistema ripiega su un fallback o si inventa qualcosa con sicurezza? Chi è responsabile del monitoring in produzione, e come ha scoperto l'ultima regressione?
Le aziende serie si illuminano a queste domande, perché hanno risposte, e le risposte sono specifiche e un po' tediose, come un chirurgo è tedioso sul lavarsi le mani. I venditori di wrapper si mettono a disagio, vogliono tornare alla demo. (Quel disagio è già tutto il report.)
Affidabilità non è capacità
C'è ricerca dietro, non solo istinto. Narayanan e Kapoor hanno passato anni a dimostrare che l'affidabilità è un asse indipendente dalla capacità. Un modello più capace non ti consegna un prodotto più affidabile, perché l'affidabilità si costruisce, con evals e monitoring e disciplina, e un foundation model migliore non te la regala.
Il che vuol dire che la domanda interessante in due diligence non c'entra niente con quale modello usano, quella è già decisa nel momento in cui entri dalla porta. Quello che sei venuto a vedere è tutto ciò che sta intorno al modello.
"Usiamo l'ultimo modello di frontiera" è un ristorante che si vanta del forno. Bene. Adesso fammi vedere la cucina.
La versione onesta
L'azienda noiosa fa una figura peggiore nella stanza: la demo è più corta, il founder è meno carismatico, nel deck c'è una slide sull'infrastruttura di valutazione che fa venire sonno a tutto l'edificio. Ed è quell'azienda a essere ancora viva tra tre anni.
Se sei un founder che legge questo, costruisci il layer noioso e impara a renderlo visibile, perché chi firma gli assegni ha finalmente cominciato a chiederlo. Se sei un investitore, la demo è prova negativa, e più abbaglia, più devi guardare la cucina.
Trent'anni in questo mestiere mi hanno insegnato una cosa che dura: la parte eccitante non è mai dove sta il valore. Il valore sta nella noia, e la noia è la cosa più difficile da falsificare.
— Pan