AI-hallucination
En AI-hallucination er, når et AI-værktøj siger noget forkert eller opdigtet, mens det lyder fuldstændig sikkert, og fremlægger et forkert faktum, en falsk kildehenvisning eller en opfundet kilde, som var den sand. For studerende, der bruger almindelige chatbots til at læse, er det den vigtigste grund til, at svar stille og roligt kan føre dem på afveje.
Store sprogmodeller forudsiger tekst, der lyder sandsynlig, ikke verificerede fakta. Når en model ikke rigtig ved noget, gætter den ofte i stedet for at indrømme hullet, så svaret kan læses som poleret og sikkert, selvom det er forkert. Sikkerheden er fælden. En hallucineret forklaring ser præcis ud som en korrekt.
En udbredt misforståelse er, at hallucinationer kun sker om obskure emner. De dukker også op i helt basalt stof: et forkert årstal, et fejlagtigt tilskrevet citat, en henvisning til en artikel, der ikke findes. Kommer svaret uden en kilde, du kan tjekke, har du ingen måde at skelne et rigtigt faktum fra et flydende gæt.
En studerende beder en almindelig chatbot forklare trinnene i citronsyrecyklussen før en eksamen. Botten remser otte trin op med stor sikkerhed, men bytter om på to mellemprodukter og opfinder et enzymnavn. Den studerende lærer det udenad og mister så point til eksamen på en fejl, AI'en indførte.