Halucynacja AI
Halucynacja AI to sytuacja, gdy narzędzie AI twierdzi coś fałszywego lub zmyślonego z pełną pewnością, przedstawiając błędny fakt, fałszywy cytat lub nieistniejące źródło tak, jakby było prawdziwe. Dla studentów używających ogólnych chatbotów do nauki to główny powód, dla którego odpowiedzi mogą po cichu wprowadzać w błąd.
Duże modele językowe przewidują tekst, który brzmi prawdopodobnie, a nie zweryfikowane fakty. Kiedy model czegoś naprawdę nie wie, często zgaduje zamiast przyznać się do luki, więc odpowiedź może wyglądać na dopracowaną i pewną, będąc jednocześnie błędna. Pewność to pułapka. Zhalucynowane wyjaśnienie wygląda dokładnie tak samo jak poprawne.
Częstym błędnym przekonaniem jest, że halucynacje zdarzają się tylko przy niszowych tematach. Pojawiają się też przy podstawowym materiale: błędna data, źle przypisany cytat, odwołanie do artykułu, który nie istnieje. Jeśli odpowiedź nie ma źródła, które możesz sprawdzić, nie masz jak odróżnić prawdziwego faktu od płynnego zgadywania.
Student prosi ogólnego chatbota, żeby wyjaśnił etapy cyklu Krebsa przed egzaminem. Bot pewnie wymienia osiem etapów, ale zamienia dwa produkty pośrednie i wymyśla nazwę enzymu. Student uczy się tego na pamięć, a potem traci punkty na egzaminie za błąd, który wprowadziła AI.