Allucinazione dell'IA
Un'allucinazione dell'IA è quando uno strumento di IA afferma qualcosa di falso o inventato con totale sicurezza, presentando un dato sbagliato, una citazione falsa o una fonte inesistente come se fosse vera. Per gli studenti che usano chatbot generici per studiare, è il motivo principale per cui le risposte possono ingannare senza farsi notare.
I grandi modelli linguistici prevedono un testo che suona plausibile, non fatti verificati. Quando un modello non sa davvero qualcosa, spesso tira a indovinare invece di ammettere il vuoto, così la risposta può sembrare curata e sicura pur essendo sbagliata. La sicurezza è la trappola. Una spiegazione allucinata sembra esattamente uguale a una corretta.
Un equivoco comune è che le allucinazioni avvengano solo su temi oscuri. Compaiono anche sul materiale di base: una data sbagliata, una citazione attribuita male, un riferimento a un articolo che non esiste. Se la risposta non arriva con una fonte che puoi controllare, non hai modo di distinguere un fatto reale da una supposizione fluente.
Uno studente chiede a un chatbot generico di spiegare i passaggi del ciclo di Krebs prima di un esame. Il bot elenca otto passaggi con sicurezza, ma scambia due intermedi e inventa il nome di un enzima. Lo studente lo memorizza così, poi perde punti all'esame per un errore introdotto dall'IA.