Wenn ein KI-Tool dein Lernmaterial schreibt, vertraust du einem Modell, das du nie ausgesucht hast und meistens nicht einmal sehen kannst. Es ist also eine faire Frage, welches wir nutzen und wie wir uns entschieden haben.
Die kurze Antwort: Dein Material läuft auf aktuellen GPT-Modellen von OpenAI, mit einem Fallback, falls eines nicht verfügbar ist. Welches genau, ändert sich, sobald bessere erscheinen, deshalb nennen wir hier keine Version. Die lange Antwort ist, wie wir auswählen, denn wir wählen nicht nach Preis, nicht nach Ranglisten und nicht danach, welches Modell gerade in den Nachrichten war. Wir testen sie an genau der Art von Material, die du hochlädst.
Hier die letzte Runde.
Wie wir testen
Das Schwierige an einem Modellvergleich ist, dass fast nichts stillsteht. Andere Recherche, anderer Quelltext, anderes Ergebnis. Also halten wir alles fest außer dem Modell.
Wir haben drei echte Dokumente aus echten Kursen genommen, bewusst unterschiedlich im Charakter:
- Ein dichtes Buchhaltungs-Glossar, von vorn bis hinten Definitionen
- Einen dünnen Psychologie-Foliensatz, ein paar Stichpunkte pro Folie
- Ausführliche Marketing-Notizen, echte Fließtexte
Dann haben wir Quellmaterial und Anweisungen eingefroren und nur das Modell gewechselt. Dreißig Durchläufe, einer nach dem anderen, Karteikarten und Quizze aus jedem Dokument, mit exakt den Prompts, die auch im Produkt laufen.
Fünf Modelle von fünf verschiedenen Laboren.
Wir benoten uns nicht selbst
Genau hier gehen Modellvergleiche üblicherweise schief. Wenn du die Ergebnisse selbst bewertest, findest du das, was du erwartet hast. Wenn eine einzige KI bewertet, hast du gemessen, welches Ergebnis ihrem eigenen Schreibstil am ähnlichsten ist.
Also ging die Bewertung an ein Gremium aus drei Prüfern von drei verschiedenen Unternehmen. Jeder Prüfer sah alle fünf Sets nebeneinander, mit gemischten Bezeichnungen, sodass nicht erkennbar war, welches Modell welches geschrieben hatte. Bewertet wurde, ob jede Karte wirklich durch die Quelle gedeckt ist, ob das Set das ganze Thema abdeckt, ob die Fragen klar und nicht wiederholend sind, ob die Schwierigkeit passt und ob ein echter Studierender beim Wiederholen etwas davon hat.
Drei der Prüfer traten selbst mit an, und dagegen darf man misstrauisch sein. Also haben wir es geprüft: Wir haben verglichen, welchen Rang jeder Prüfer seinem eigenen Ergebnis gab und welchen Rang die anderen demselben Ergebnis gaben. Niemand hat sich hochgeschrieben. Ein Teilnehmer hat sein eigenes Set sogar strenger bewertet als die anderen.
Was herauskam
Es war kein Erdrutsch. Vier der fünf Modelle landeten dicht beieinander, nah genug, dass wir auf dieser Grundlage keinen Sieger zwischen ihnen ausrufen würden.
Belegtreue, das Wichtigste überhaupt: Das beste Modell lag mit 4,83 von 5 vorn, das nächste bei 4,78, zwei weitere jeweils bei 4,67. Belegtreue heißt, dass jede Karte wirklich aus deinem Dokument stammt und nicht erfunden ist. Eine selbstbewusst falsche Karteikarte ist schlimmer als gar keine, deshalb geben wir bei dieser Zahl nichts her.
Fragenqualität: wieder dasselbe Modell vorn mit 4,78, das nächste knapp dahinter mit 4,67, dann 4,39 und 4,11. Gemessen wird, ob jede Karte genau eine klare Idee prüft, beantwortbar ist und keine umformulierte Dublette einer anderen Karte darstellt.
Abdeckung: hier haben wir verloren. Zwei andere Modelle kamen auf 4,50 und 3,72, das Modell, das wir einsetzen, landete mit 3,28 hinten in der Spitzengruppe. Abdeckung heißt, sich über das ganze Dokument zu verteilen, statt sich auf die Stellen zu konzentrieren, über die sich am leichtesten schreiben ließ. Das ist eine echte Schwäche dessen, was wir heute ausliefern, und sie steht auf unserer Liste.
Ein Modell fiel klar ab: Es wurde bei Belegtreue, Fragenqualität und Gesamtrang Letzter und war zudem mit Abstand am langsamsten, rund 80 Sekunden gegenüber etwa 23 beim schnellsten. Generell ist es ein starkes Modell. Für diese Aufgabe war es nicht konkurrenzfähig.
Wie wir tatsächlich entscheiden
Qualität ist der Filter. Tempo ist nur das Entscheidungskriterium bei Gleichstand.
Das letztplatzierte Modell ist an der Qualität gescheitert, und kein noch so günstiger Preis hätte daran etwas geändert. Zwischen den verbleibenden vieren ist die ehrliche Lesart, dass sie nah beieinander liegen. Also schauen wir darauf, woran ein knapper Fall bei einem Lernwerkzeug hängen sollte: Belegtreue und Fragenqualität, denn die entscheiden, ob dir der Stapel das Richtige beibringt.
Das Modell, das wir einsetzen, lag bei beidem vorn. Es war zufällig auch das schnellste der fünf, rund 23 Sekunden pro Set gegenüber 30, 45 und 80 bei den anderen. Das ist ein netter Nebeneffekt, nicht der Grund.
Wäre die Reihenfolge umgekehrt gewesen, wäre also das schnellste Modell das mit der wackeligsten Belegtreue, hätten wir das langsamere genommen. Genau diese Entscheidung haben wir schon einmal so getroffen.
Warum wir das wiederholen
Jedes Modell in diesem Vergleich ist jünger als ein Jahr, und mindestens eines davon wird ersetzt sein, bevor das nächste Semester endet. Eine einmal getroffene und nie überprüfte Modellwahl wird still und leise zur Wahl desjenigen, der 2025 am schnellsten ausgeliefert hat.
Das ist also ein wiederkehrender Test, keine einmalige Sache. Gleiche drei Dokumente, gleiche eingefrorene Anweisungen, gleiches blindes Gremium, neue Kandidaten, sobald sie erscheinen. Wenn ein neues Modell bei Belegtreue und Fragenqualität gewinnt, wechseln wir, und der Wechsel ist unspektakulär, weil der Prüfstand schon steht.
Was das für dich heißt
Zwei praktische Dinge.
Jede Karte, die du erzeugst, wird geprüft, bevor sie dich erreicht, und zwar daraufhin, ob sie sich auf dein eigenes Dokument zurückführen lässt. Das ist die Eigenschaft, auf die wir vor allem anderen optimieren, auch vor Tempo.
Und wenn ein Set sich mal zu flach oder zu eng anfühlt für das, was deine Prüfung wirklich verlangt, erstelle im Formular „Neues Material“ ein neues Set mit höherer Schwierigkeit oder größerem Umfang. Beide Einstellungen sind echt, und Abdeckung ist genau die Dimension, bei der wir wissen, dass noch Luft ist.
