Quando uno strumento di IA crea il tuo materiale di studio, ti stai fidando di un modello che non hai mai scelto e che di solito non puoi nemmeno vedere. È quindi legittimo chiedere quale usiamo e come abbiamo deciso.
La risposta breve: per scrivere flashcard, quiz ed esami usiamo attualmente GPT-5.6 nella sua versione più capace. La risposta lunga è come ci siamo arrivati, perché non scegliamo in base al prezzo, alle classifiche o al modello di cui si parlava quel mese. Li mettiamo alla prova sul tipo di materiale che carichi tu.
Ecco l'ultimo giro.
La difficoltà di un confronto tra modelli è che quasi nulla resta fermo. Ricerca diversa, testo di partenza diverso, risultato diverso. Perciò congeliamo tutto tranne il modello.
Abbiamo preso tre documenti reali da corsi reali, volutamente diversi tra loro:
- Un glossario di contabilità fittissimo, definizioni dall'inizio alla fine
- Un set di slide di psicologia molto scarno, pochi punti elenco per slide
- Appunti di marketing estesi, paragrafi veri
Poi abbiamo congelato materiale di partenza e istruzioni, cambiando solo il modello. Trenta esecuzioni, una alla volta, generando flashcard e quiz da ciascun documento con esattamente le istruzioni che usa il prodotto.
Cinque modelli, da cinque laboratori diversi: GPT-5.6, Gemini 3.1 Pro, Grok 4.5, Kimi K3 e DeepSeek V4 Pro.
È qui che i confronti tra modelli di solito deragliano. Se valuti tu i risultati, trovi quello che ti aspettavi. Se lasci valutare a una sola IA, hai misurato quale risultato somiglia di più allo stile di quella IA.
La valutazione è quindi andata a una giuria di tre giudici di tre aziende diverse. Ogni giudice ha visto tutti e cinque i set affiancati, con le etichette mescolate, senza modo di sapere quale modello avesse scritto cosa. Hanno valutato se ogni carta fosse davvero sostenuta dalla fonte, se il set coprisse l'intero argomento, se le domande fossero chiare e non ripetitive, se la difficoltà corrispondesse a quella richiesta e se uno studente vero ne ricaverebbe qualcosa ripassando.
Tre dei giudici erano anche concorrenti, ed è giusto sospettarne. Perciò lo abbiamo verificato: abbiamo confrontato il posto che ogni giudice ha dato al proprio risultato con il posto che gli hanno dato gli altri giudici. Nessuno si è gonfiato. DeepSeek ha addirittura giudicato il proprio set più severamente degli altri.
Non è stata una vittoria schiacciante. Quattro modelli su cinque sono arrivati in un gruppo strettissimo, abbastanza vicini da non permetterci di proclamare un vincitore tra loro su questa base.
L'aderenza alla fonte, la cosa che conta di più: GPT-5.6 in testa con 4,83 su 5, Gemini 3.1 Pro a 4,78, Grok 4.5 e Kimi K3 entrambi a 4,67. Aderenza significa che ogni carta viene davvero dal tuo documento e non è inventata. Una flashcard sicura di sé e sbagliata è peggio di nessuna flashcard, quindi su questo numero non cediamo.
Qualità delle domande: di nuovo GPT-5.6 in testa con 4,78, Kimi K3 subito dietro a 4,67, poi Gemini a 4,39 e Grok a 4,11. Misura se ogni elemento verifica un'idea chiara, è rispondibile e non è il duplicato riformulato di un'altra carta.
Copertura: qui abbiamo perso. Grok 4.5 ha ottenuto 4,50, Gemini 3,72 e GPT-5.6 è arrivato ultimo del gruppo di testa con 3,28. Copertura significa distribuirsi sull'intero documento invece di concentrarsi sulle parti più facili da scrivere. È una debolezza reale di ciò che consegniamo oggi ed è nella nostra lista.
Un modello è rimasto chiaramente indietro: DeepSeek V4 Pro è arrivato ultimo su aderenza, qualità delle domande e posizione complessiva, ed è stato di gran lunga il più lento, circa 80 secondi contro i 23 circa del più veloce. In generale è un modello capace. Su questo lavoro specifico non è stato competitivo.
La qualità è il filtro. La velocità serve solo a rompere la parità.
DeepSeek è stato escluso sulla qualità, e nessun prezzo basso avrebbe cambiato le cose. Tra i quattro rimasti, la lettura onesta è che siano vicini, quindi guardiamo a ciò da cui dovrebbe dipendere un caso incerto per uno strumento di studio: aderenza alla fonte e qualità delle domande, perché sono queste a determinare se il set ti insegna la cosa giusta.
GPT-5.6 era primo su entrambe. Si dà il caso che fosse anche il più veloce dei cinque, circa 23 secondi per set contro i 30 di Grok, i 45 di Kimi e gli 80 di DeepSeek. È un bel bonus, non il motivo.
Se l'ordine fosse stato inverso, se il modello più veloce fosse stato quello con l'aderenza più fragile, avremmo spedito il lento. Abbiamo già preso esattamente questa decisione in passato.
Ogni modello in questo confronto ha meno di un anno, e almeno uno sarà sostituito prima della fine del prossimo semestre. Una scelta di modello fatta una volta e mai rivista diventa silenziosamente la scelta di chi ha spedito più in fretta nel 2025.
Quindi questo è un test ricorrente, non un episodio isolato. Stessi tre documenti, stesse istruzioni congelate, stessa giuria alla cieca, nuovi sfidanti man mano che arrivano. Quando un modello nuovo vince su aderenza e qualità delle domande, cambiamo, e il cambio è noioso perché il banco di prova esiste già.
Due cose pratiche.
Ogni carta che generi viene valutata, prima ancora di arrivarti, su quanto sia riconducibile al tuo documento. È la proprietà che ottimizziamo prima di ogni altra, velocità compresa.
E se un set ti sembra troppo superficiale o troppo ristretto rispetto a quello che chiede il tuo esame, di' a Bo di renderlo più difficile o di coprire più materiale. Le impostazioni di difficoltà e ampiezza sono reali, e la copertura è proprio la dimensione su cui sappiamo di avere margine.