Perché l’IA generativa è ancora così inaffidabile? Questa è la domanda che si pone Gary Marcus, che non è l’ultimo arrivato. Nel 2014 fondò Geometric Intelligence, specializzata nello sviluppo di sistemi di machine learning. Per di più è Professore emerito di psicologia e neuroscienze alla New York University, ed ha pubblicato più di un libro sul tema.

Nonostante centinaia di miliardi di dollari di investimenti nella costruzione di modelli sempre più grandi e potenti, gli errori rimangono all’ordine del giorno. Marcus riconosce molteplici ragioni, tra cui: i dati errati generati dalla diffusione di spazzatura su Internet, l’incapacità di questi sistemi di comprendere le facezie ed i toni scherzosi, ma anche la dubbia affidabilità degli stessi LLM.

Lui ritiene che i dati siano solo una parte del problema. Una questione più profonda riguarda la distinzione tra approssimazione e calcolo. L’IA “simbolica” convenzionale esegue calcoli secondo algoritmi e programmi informatici tradizionali dichiarati in modo astratto. Ad esempio, possono calcolare in modo affidabile il percorso migliore tra A, B e C cercando in tutti i percorsi possibili e restituendo quello più breve. Ma l’IA generativa funziona in modo diverso, approssimando le cose che gli esseri umani hanno detto in varie situazioni.

Un sistema di intelligenza artificiale simbolica potrebbe semplicemente cercare dove è nato Shearer, ad esempio consultando la sua pagina Wikipedia. Al contrario, “i sistemi di intelligenza artificiale generativa ingeriscono l’intera Internet, identificano i modelli del linguaggio umano e cercano di ricostruire ciò che suona plausibile in un determinato contesto”. In termini semi-tecnici, sono “predittori di parole successive”, costruiti per ottimizzare il compito di prevedere la parola successiva in una frase data la parola o le parole precedenti.

Il risultato potrebbe essere tipo una “allucinazione”, come quella che potrebbe dire una persona in un determinato contesto se non sapesse esattamente cosa sta succedendo. Quando ChatGPT dice “Harry Shearer è un attore, comico e doppiatore britannico”, sta generando il tipo di frase grammaticale dal suono ragionevole, ben formata che potresti sentire da un essere umano. Ma è falso. Quando ho chiesto a ChatGPT di disegnare una mappa degli Stati Uniti e di evidenziare quegli stati con porti e redditi pro capite superiori alla media, ha generato molteplici risposte diverse e incoerenti, nessuna delle quali era corretta.

Chiunque abbia utilizzato questi strumenti sa quanto siano comuni tali errori. E qui sta il problema: “l’IA generativa è fondamentalmente cieca alla verità e quindi fondamentalmente inaffidabile”.

Molte persone trovano questa conclusione difficile da accettare. Poiché gli LLM sono così bravi a imitare i modelli del linguaggio umano, le persone tendono ad antropomorfizzarli, a volte fino al punto di innamorarsi o “sposarli”. E’ fin troppo comune attribuire agli LLM molta più intelligenza di quanta ne possano avere. Nel libro Rebooting AI, scritto con Ernest Davis, Marcus identifica ciò come come un “bias da credulità”.

“In definitiva, gli LLM sono e rimarranno troppo stupidi per verificare le proprie risposte. Non sanno che ne hanno bisogno, e non saprebbero come farlo”.

* estratto dall’articolo pubblicato su Project Syndicate da Gary Marcus, “La crisi di affidabilità dell’IA”, New York, 15/6/2025