AI-hallusinasjon
En AI-hallusinasjon er når et AI-verktøy sier noe feil eller oppdiktet mens det høres helt sikkert ut, og legger fram et galt faktum, en falsk kildehenvisning eller en oppfunnet kilde som om den var sann. For studenter som bruker vanlige chatboter til å lese, er det den viktigste grunnen til at svar stille kan føre dem på villspor.
Store språkmodeller forutsier tekst som høres sannsynlig ut, ikke verifiserte fakta. Når en modell ikke egentlig vet noe, gjetter den ofte i stedet for å innrømme hullet, så svaret kan leses som polert og sikkert selv om det er feil. Sikkerheten er fella. En hallusinert forklaring ser nøyaktig ut som en riktig.
En vanlig misforståelse er at hallusinasjoner bare skjer om obskure temaer. De dukker også opp i helt grunnleggende stoff: et feil årstall, et feilaktig tilskrevet sitat, en henvisning til en artikkel som ikke finnes. Kommer svaret uten en kilde du kan sjekke, har du ingen måte å skille et ekte faktum fra en flytende gjetning.
En student ber en vanlig chatbot forklare trinnene i sitronsyresyklusen før en eksamen. Boten ramser opp åtte trinn med stor sikkerhet, men bytter om på to mellomprodukter og finner på et enzymnavn. Studenten pugger det, og mister så poeng på eksamen for en feil AI-en innførte.