Når et AI-værktøj laver dit studiemateriale, stoler du på en model, du aldrig har valgt, og som du oftest ikke engang kan se. Så det er et rimeligt spørgsmål, hvilken vi bruger, og hvordan vi besluttede os.
Det korte svar: dit materiale kører på de aktuelle GPT-modeller fra OpenAI, med en reserve, hvis en ikke er tilgængelig. Hvilken model det er, ændrer sig, når bedre kommer, så vi angiver ikke en version her. Det lange svar er, hvordan vi vælger, for vi vælger ikke efter pris, ikke efter ranglister og ikke efter, hvilken model der var i nyhederne den måned. Vi tester dem på den slags materiale, du selv uploader.
Her er seneste runde.
Sådan tester vi
Det svære ved at sammenligne modeller er, at næsten intet står stille. Anden søgning, anden kildetekst, andet resultat. Så vi fastholder alt undtagen modellen.
Vi tog tre rigtige dokumenter fra rigtige kurser, bevidst forskellige i form:
- Et tætskrevet regnskabsglossar, definitioner fra ende til anden
- Et tyndt psykologi-slidesæt, et par punkter per slide
- Lange marketingnoter, rigtige afsnit
Derefter frøs vi kildematerialet og instruktionerne og skiftede kun modellen. Tredive kørsler, én ad gangen, med flashcards og quizzer fra hvert dokument, med præcis de instruktioner produktet bruger.
Fem modeller, fra fem forskellige laboratorier.
Vi retter ikke vores egen opgave
Det er her, modelsammenligninger normalt går galt. Bedømmer du resultaterne selv, finder du det, du forventede at finde. Lader du én AI bedømme, har du målt, hvilket resultat der ligner den AI's egen stil mest.
Bedømmelsen gik derfor til et panel med tre dommere fra tre forskellige virksomheder. Hver dommer så alle fem sæt side om side med blandede etiketter og uden mulighed for at vide, hvilken model der havde skrevet hvad. De bedømte, om hvert kort faktisk var dækket af kilden, om sættet dækkede hele emnet, om spørgsmålene var klare og ikke gentagende, om sværhedsgraden svarede til den bestilte, og om en rigtig studerende ville få noget ud af det ved repetition.
Tre af dommerne stillede også selv op, og det er rimeligt at være skeptisk over for. Så vi tjekkede det: vi sammenlignede den placering, hver dommer gav sit eget resultat, med den placering de andre dommere gav samme resultat. Ingen pustede sig selv op. En af deltagerne bedømte endda sit eget sæt hårdere, end de andre gjorde.
Hvad vi fandt
Det blev ikke en jordskredssejr. Fire af de fem modeller endte i en tæt gruppe, tæt nok til at vi ikke vil udråbe en vinder mellem dem på dette grundlag.
Kildeforankring, det der betyder mest: den bedste model højest med 4,83 ud af 5, den næste på 4,78, og to andre begge på 4,67. Forankring betyder, at hvert kort faktisk kommer fra dit dokument og ikke er opdigtet. Et selvsikkert forkert flashcard er værre end intet flashcard, så på det tal giver vi ikke køb.
Spørgsmålskvalitet: igen den samme model højest med 4,78, den næste lige bagefter på 4,67, så 4,39 og 4,11. Det måler, om hvert element tester én klar idé, kan besvares og ikke er en omskrevet dublet af et andet kort.
Dækning: her tabte vi. To andre modeller fik 4,50 og 3,72, og den model, vi bruger, kom sidst i topgruppen med 3,28. Dækning betyder at fordele sig over hele dokumentet i stedet for at klumpe sig der, hvor det var lettest at skrive. Det er en reel svaghed ved det, vi leverer i dag, og den står på vores liste.
Én model lå klart bagefter: Den blev sidst på forankring, spørgsmålskvalitet og samlet placering og var samtidig langt den langsomste, omkring 80 sekunder mod cirka 23 for den hurtigste. Generelt er det en dygtig model. Til lige netop dette job var den ikke konkurrencedygtig.
Sådan beslutter vi faktisk
Kvalitet er filteret. Hastighed afgør kun ved uafgjort.
Modellen, der blev sidst, røg ud på kvalitet, og ingen lav pris ville have ændret det. Blandt de fire tilbageværende er den ærlige læsning, at de ligger tæt, så vi ser på, hvad et tæt løb bør afgøres af for et studieværktøj: forankring og spørgsmålskvalitet, for det er dem, der afgør, om sættet lærer dig det rigtige.
Den model, vi bruger, lå øverst på begge. Den var tilfældigvis også den hurtigste af de fem, cirka 23 sekunder per sæt mod 30, 45 og 80 for de andre. Det er en fin bonus, ikke grunden.
Havde rækkefølgen været omvendt, altså hvis den hurtigste model havde haft den svageste forankring, ville vi have sendt den langsomme afsted. Vi har truffet præcis den beslutning før.
Hvorfor vi gentager det
Alle modeller i denne sammenligning er under et år gamle, og mindst én af dem er erstattet, inden næste semester er slut. Et modelvalg truffet én gang og aldrig taget op igen bliver stille og roligt til valget hos den, der leverede hurtigst i 2025.
Så det her er en tilbagevendende test, ikke en engangsforestilling. Samme tre dokumenter, samme frosne instruktioner, samme blinde panel, nye udfordrere efterhånden som de kommer. Når en ny model vinder på forankring og spørgsmålskvalitet, skifter vi, og skiftet er kedeligt, fordi prøvebænken allerede står der.
Hvad det betyder for dig
To praktiske ting.
Hvert kort, du genererer, bliver bedømt, før det overhovedet når dig, på om det kan spores tilbage til dit eget dokument. Det er den egenskab, vi optimerer efter frem for alt andet, også frem for hastighed.
Og hvis et sæt nogensinde føles for overfladisk eller for smalt til det, din eksamen faktisk spørger om, så så lav et nyt med højere sværhedsgrad eller større omfang i formularen «Nyt materiale». Begge indstillinger er reelle, og dækning er netop den dimension, hvor vi ved, vi har plads til forbedring.
