Als een AI-tool jouw studiemateriaal maakt, vertrouw je op een model dat je nooit hebt gekozen en meestal niet eens kunt zien. Het is dus een terechte vraag welk model wij gebruiken en hoe we dat besloten.
Het korte antwoord: jouw materialen draaien op de huidige GPT-modellen van OpenAI, met een terugvaloptie als er één niet beschikbaar is. Welk model precies, verandert zodra er betere uitkomen, dus we noemen hier geen versie. Het lange antwoord is hoe we kiezen, want we kiezen niet op prijs, niet op ranglijstjes en niet op welk model die maand in het nieuws was. We testen ze op het soort materiaal dat jij uploadt.
Dit was de laatste ronde.
Hoe we testen
Het lastige aan modellen vergelijken is dat bijna niets stil blijft staan. Andere zoekactie, andere brontekst, andere uitkomst. Dus zetten we alles vast behalve het model.
We namen drie echte documenten uit echte vakken, bewust verschillend van vorm:
- Een dichtbeschreven boekhoudglossarium, van voor tot achter definities
- Een schrale psychologie-diaset, een paar bullets per dia
- Uitgebreide marketingaantekeningen, echte alinea's
Daarna bevroren we het bronmateriaal en de instructies, en wisselden we alleen het model. Dertig runs, één voor één, met flashcards en quizzen uit elk document, met exact de instructies die het product ook gebruikt.
Vijf modellen, van vijf verschillende labs.
We nakijken ons eigen werk niet
Hier gaan modelvergelijkingen meestal mis. Als je de uitkomsten zelf beoordeelt, vind je wat je verwachtte te vinden. Laat je één AI beoordelen, dan heb je gemeten welke uitkomst het meest op de schrijfstijl van die AI lijkt.
De beoordeling ging daarom naar een panel van drie beoordelaars van drie verschillende bedrijven. Elke beoordelaar zag alle vijf de sets naast elkaar, met door elkaar gehusselde labels, zonder manier om te zien welk model wat had geschreven. Ze beoordeelden of elke kaart echt door de bron gedekt werd, of de set het hele onderwerp bestreek, of de vragen helder en niet herhalend waren, of de moeilijkheid klopte met wat gevraagd was, en of een echte student er bij het herhalen wat aan heeft.
Drie van de beoordelaars deden zelf mee, en daar mag je wantrouwig over zijn. Dus we controleerden het: we vergeleken welke plek elke beoordelaar zijn eigen werk gaf met de plek die de andere beoordelaars datzelfde werk gaven. Niemand blies zichzelf op. Eén deelnemer beoordeelde zijn eigen set zelfs strenger dan de anderen deden.
Wat we vonden
Het was geen afstraffing. Vier van de vijf modellen eindigden dicht bij elkaar, dicht genoeg dat we op basis hiervan geen winnaar tussen hen uitroepen.
Onderbouwing, wat het zwaarst weegt: het beste model het hoogst met 4,83 van 5, het volgende op 4,78 en twee andere allebei op 4,67. Onderbouwing betekent dat elke kaart echt uit jouw document komt en niet verzonnen is. Een zelfverzekerd foute flashcard is erger dan geen flashcard, dus op dit cijfer geven we niets weg.
Vraagkwaliteit: opnieuw hetzelfde model het hoogst met 4,78, het volgende vlak erachter op 4,67, daarna 4,39 en 4,11. Dit meet of elk item één heldere gedachte toetst, beantwoordbaar is en geen herschreven dubbel van een andere kaart is.
Dekking: hier verloren we. Twee andere modellen scoorden 4,50 en 3,72, en het model dat wij gebruiken werd laatste van de kopgroep met 3,28. Dekking betekent je over het hele document verdelen in plaats van blijven hangen bij de stukken waar het makkelijkst over te schrijven viel. Dat is een echte zwakte van wat we vandaag leveren, en die staat op onze lijst.
Eén model bleef duidelijk achter: Het werd laatste op onderbouwing, vraagkwaliteit en algemene plek, en was daarnaast veruit het traagst, ongeveer 80 seconden tegenover zo'n 23 voor de snelste. In het algemeen is het een sterk model. Voor deze specifieke klus was het niet concurrerend.
Hoe we echt beslissen
Kwaliteit is de filter. Snelheid is alleen de tiebreak.
Het laatst geëindigde model viel af op kwaliteit, en geen enkele lage prijs had dat veranderd. Tussen de vier die overbleven is de eerlijke lezing dat ze dicht bij elkaar liggen, dus kijken we waar een nipte keuze bij een studietool op zou moeten draaien: onderbouwing en vraagkwaliteit, want die bepalen of de set je het juiste leert.
Het model dat wij gebruiken stond op allebei bovenaan. Het bleek toevallig ook het snelste van de vijf, ongeveer 23 seconden per set tegenover 30, 45 en 80 voor de anderen. Dat is een prettige bijkomstigheid, niet de reden.
Was de volgorde omgekeerd geweest, was het snelste model dat met de wankelste onderbouwing, dan hadden we het trage uitgebracht. Precies die keuze hebben we eerder al gemaakt.
Waarom we dit opnieuw doen
Elk model in deze vergelijking is jonger dan een jaar, en minstens één ervan is vervangen voordat het volgende semester eindigt. Een modelkeuze die één keer gemaakt en nooit herzien wordt, verandert ongemerkt in de keuze van wie in 2025 het snelst leverde.
Dit is dus een terugkerende test, geen eenmalige actie. Dezelfde drie documenten, dezelfde bevroren instructies, hetzelfde blinde panel, nieuwe kandidaten zodra ze er zijn. Wint een nieuw model op onderbouwing en vraagkwaliteit, dan wisselen we, en die wissel is saai omdat de testbank er al staat.
Wat dit voor jou betekent
Twee praktische dingen.
Elke kaart die je genereert wordt, nog voordat hij bij jou komt, beoordeeld op de vraag of hij terug te voeren is op jouw eigen document. Dat is de eigenschap waarop we boven alles optimaliseren, ook boven snelheid.
En als een set ooit te oppervlakkig of te smal aanvoelt voor wat je tentamen echt vraagt, maak dan een nieuwe met hogere moeilijkheid of grotere omvang in het formulier 'Nieuw materiaal'. Beide instellingen zijn echt, en dekking is precies de dimensie waarvan we weten dat er ruimte is.
