Quando uno strumento di IA crea il tuo materiale di studio, ti stai fidando di un modello che non hai mai scelto e che di solito non puoi nemmeno vedere. È quindi legittimo chiedere quale usiamo e come abbiamo deciso.
La risposta breve: i tuoi materiali girano sugli attuali modelli GPT di OpenAI, con un modello di riserva se uno non è disponibile. Il modello esatto cambia quando ne escono di migliori, quindi qui non indichiamo una versione. La risposta lunga è come scegliamo, perché non scegliamo in base al prezzo, alle classifiche o al modello di cui si parlava quel mese. Li mettiamo alla prova sul tipo di materiale che carichi tu.
Ecco l'ultimo giro.
Come testiamo
La difficoltà di un confronto tra modelli è che quasi nulla resta fermo. Ricerca diversa, testo di partenza diverso, risultato diverso. Perciò congeliamo tutto tranne il modello.
Abbiamo preso tre documenti reali da corsi reali, volutamente diversi tra loro:
- Un glossario di contabilità fittissimo, definizioni dall'inizio alla fine
- Un set di slide di psicologia molto scarno, pochi punti elenco per slide
- Appunti di marketing estesi, paragrafi veri
Poi abbiamo congelato materiale di partenza e istruzioni, cambiando solo il modello. Trenta esecuzioni, una alla volta, generando flashcard e quiz da ciascun documento con esattamente le istruzioni che usa il prodotto.
Cinque modelli, da cinque laboratori diversi.
Non correggiamo il nostro compito da soli
È qui che i confronti tra modelli di solito deragliano. Se valuti tu i risultati, trovi quello che ti aspettavi. Se lasci valutare a una sola IA, hai misurato quale risultato somiglia di più allo stile di quella IA.
La valutazione è quindi andata a una giuria di tre giudici di tre aziende diverse. Ogni giudice ha visto tutti e cinque i set affiancati, con le etichette mescolate, senza modo di sapere quale modello avesse scritto cosa. Hanno valutato se ogni carta fosse davvero sostenuta dalla fonte, se il set coprisse l'intero argomento, se le domande fossero chiare e non ripetitive, se la difficoltà corrispondesse a quella richiesta e se uno studente vero ne ricaverebbe qualcosa ripassando.
Tre dei giudici erano anche concorrenti, ed è giusto sospettarne. Perciò lo abbiamo verificato: abbiamo confrontato il posto che ogni giudice ha dato al proprio risultato con il posto che gli hanno dato gli altri giudici. Nessuno si è gonfiato. Uno dei concorrenti ha addirittura giudicato il proprio set più severamente degli altri.
Cosa abbiamo trovato
Non è stata una vittoria schiacciante. Quattro modelli su cinque sono arrivati in un gruppo strettissimo, abbastanza vicini da non permetterci di proclamare un vincitore tra loro su questa base.
L'aderenza alla fonte, la cosa che conta di più: Il miglior modello in testa con 4,83 su 5, il successivo a 4,78, altri due entrambi a 4,67. Aderenza significa che ogni carta viene davvero dal tuo documento e non è inventata. Una flashcard sicura di sé e sbagliata è peggio di nessuna flashcard, quindi su questo numero non cediamo.
Qualità delle domande: di nuovo lo stesso modello in testa con 4,78, il successivo subito dietro a 4,67, poi 4,39 e 4,11. Misura se ogni elemento verifica un'idea chiara, è rispondibile e non è il duplicato riformulato di un'altra carta.
Copertura: qui abbiamo perso. Altri due modelli hanno ottenuto 4,50 e 3,72, e il modello che usiamo è arrivato ultimo del gruppo di testa con 3,28. Copertura significa distribuirsi sull'intero documento invece di concentrarsi sulle parti più facili da scrivere. È una debolezza reale di ciò che consegniamo oggi ed è nella nostra lista.
Un modello è rimasto chiaramente indietro: È arrivato ultimo su aderenza, qualità delle domande e posizione complessiva, ed è stato di gran lunga il più lento, circa 80 secondi contro i 23 circa del più veloce. In generale è un modello capace. Su questo lavoro specifico non è stato competitivo.
Come decidiamo davvero
La qualità è il filtro. La velocità serve solo a rompere la parità.
L'ultimo modello è stato escluso sulla qualità, e nessun prezzo basso avrebbe cambiato le cose. Tra i quattro rimasti, la lettura onesta è che siano vicini, quindi guardiamo a ciò da cui dovrebbe dipendere un caso incerto per uno strumento di studio: aderenza alla fonte e qualità delle domande, perché sono queste a determinare se il set ti insegna la cosa giusta.
Il modello che usiamo era primo su entrambe. Si dà il caso che fosse anche il più veloce dei cinque, circa 23 secondi per set contro i 30, i 45 e gli 80 degli altri. È un bel bonus, non il motivo.
Se l'ordine fosse stato inverso, se il modello più veloce fosse stato quello con l'aderenza più fragile, avremmo spedito il lento. Abbiamo già preso esattamente questa decisione in passato.
Perché lo rifacciamo
Ogni modello in questo confronto ha meno di un anno, e almeno uno sarà sostituito prima della fine del prossimo semestre. Una scelta di modello fatta una volta e mai rivista diventa silenziosamente la scelta di chi ha spedito più in fretta nel 2025.
Quindi questo è un test ricorrente, non un episodio isolato. Stessi tre documenti, stesse istruzioni congelate, stessa giuria alla cieca, nuovi sfidanti man mano che arrivano. Quando un modello nuovo vince su aderenza e qualità delle domande, cambiamo, e il cambio è noioso perché il banco di prova esiste già.
Cosa significa per te
Due cose pratiche.
Ogni carta che generi viene valutata, prima ancora di arrivarti, su quanto sia riconducibile al tuo documento. È la proprietà che ottimizziamo prima di ogni altra, velocità compresa.
E se un set ti sembra troppo superficiale o troppo ristretto rispetto a quello che chiede il tuo esame, creane uno nuovo con più difficoltà o più ampiezza nel modulo «Nuovo materiale». Le due impostazioni sono reali, e la copertura è proprio la dimensione su cui sappiamo di avere margine.
