L'integrazione dell'intelligenza artificiale nei motori di ricerca prometteva risposte rapide e precise, ma sembra che la strada verso la perfezione sia ancora lunga. Le "AI Overviews" di Google, introdotte quest'anno per fornire riassunti diretti delle ricerche, si sono trovate al centro di critiche per la loro affidabilità. Una nuova analisi condotta dal New York Times, in collaborazione con la startup Oumi specializzata nello sviluppo di modelli AI, ha messo a nudo alcune delle lacune di questo sistema.
Secondo lo studio, che ha utilizzato il benchmark SimpleQA – un set di oltre 4.000 domande con risposte verificabili – le AI Overviews di Google sono accurate solo nel 90% dei casi. Questo significa che una risposta su dieci fornita dal sistema è errata. Sebbene un tasso di errore del 10% possa sembrare contenuto, se estrapolato all'enorme volume di ricerche effettuate quotidianamente su Google, si traduce in decine di milioni di informazioni fuorvianti diffuse ogni giorno. Un numero preoccupante, soprattutto considerando l'affidabilità che ci si aspetta da una piattaforma leader come Google.
L'indagine ha anche evidenziato un miglioramento nel tempo: quando il test è stato condotto inizialmente con una versione precedente del modello Gemini, l'accuratezza era dell'85%. Dopo l'aggiornamento a Gemini 3, il tasso di risposte corrette è salito al 91%. Tuttavia, anche con questo progresso, la percentuale di errori rimane significativa e solleva interrogativi sulla prontezza di questi sistemi per un utilizzo su larga scala senza un'adeguata supervisione umana.