Quando uma ferramenta de IA cria o teu material de estudo, estás a confiar num modelo que nunca escolheste e que normalmente nem consegues ver. Por isso é justo perguntar qual usamos e como decidimos.
A resposta curta: o teu material corre nos modelos GPT atuais da OpenAI, com um modelo de reserva se algum não estiver disponível. O modelo exato muda quando saem melhores, por isso não indicamos aqui uma versão. A resposta longa é como escolhemos, porque não escolhemos pelo preço, nem por tabelas classificativas, nem pelo modelo que estava nas notícias naquele mês. Testamo-los no tipo de material que tu carregas.
Foi esta a última ronda.
Como testamos
O difícil em comparar modelos é que quase nada fica quieto. Pesquisa diferente, texto de origem diferente, resultado diferente. Por isso fixamos tudo exceto o modelo.
Pegámos em três documentos reais de cursos reais, propositadamente diferentes na forma:
- Um glossário de contabilidade denso, definições de uma ponta à outra
- Um conjunto de slides de psicologia muito escasso, uns poucos tópicos por slide
- Apontamentos longos de marketing, parágrafos a sério
Depois congelámos o material de origem e as instruções, mudando apenas o modelo. Trinta execuções, uma de cada vez, gerando flashcards e quizzes de cada documento com exatamente as instruções que o produto usa.
Cinco modelos, de cinco laboratórios diferentes.
Não corrigimos o nosso próprio teste
É aqui que as comparações de modelos costumam descarrilar. Se és tu a pontuar os resultados, encontras aquilo que esperavas encontrar. Se deixares uma só IA pontuar, mediste qual resultado mais se parece com o estilo dessa IA.
A avaliação foi então entregue a um painel de três juízes de três empresas diferentes. Cada juiz viu os cinco conjuntos lado a lado, com as etiquetas baralhadas, sem forma de saber que modelo escreveu qual. Avaliaram se cada cartão estava mesmo sustentado pela fonte, se o conjunto cobria o tema todo, se as perguntas eram claras e não repetitivas, se a dificuldade correspondia à pedida e se um estudante real ganharia alguma coisa ao rever.
Três dos juízes também estavam em prova, e isso merece desconfiança. Por isso verificámos: comparámos o lugar que cada juiz deu ao seu próprio resultado com o lugar que os outros juízes deram a esse mesmo resultado. Ninguém se inflacionou. Um dos concorrentes até avaliou o seu próprio conjunto com mais dureza do que os outros.
O que encontrámos
Não foi uma goleada. Quatro dos cinco modelos ficaram muito juntos, próximos o suficiente para não reclamarmos um vencedor entre eles com esta evidência.
Sustentação na fonte, o que mais importa: o melhor modelo no topo com 4,83 em 5, o seguinte com 4,78, e outros dois ambos com 4,67. Sustentação significa que cada cartão vem mesmo do teu documento e não foi inventado. Um flashcard confiante e errado é pior do que nenhum flashcard, por isso neste número não abrimos mão.
Qualidade das perguntas: de novo o mesmo modelo no topo com 4,78, o seguinte logo atrás com 4,67, depois 4,39 e 4,11. Mede se cada item testa uma ideia clara, é respondível e não é um duplicado reescrito de outro cartão.
Cobertura: aqui perdemos. Outros dois modelos obtiveram 4,50 e 3,72, e o modelo que usamos ficou em último no grupo da frente com 3,28. Cobertura significa espalhar-se pelo documento inteiro em vez de se concentrar nas partes sobre as quais era mais fácil escrever. É uma fraqueza real do que entregamos hoje e está na nossa lista.
Um modelo ficou claramente atrás: foi o último em sustentação, qualidade das perguntas e lugar geral, e foi ainda de longe o mais lento, cerca de 80 segundos contra uns 23 do mais rápido. Em geral é um modelo capaz. Neste trabalho específico não foi competitivo.
Como decidimos na verdade
A qualidade é o filtro. A velocidade só desempata.
O modelo que ficou em último caiu pela qualidade, e nenhum preço baixo teria mudado isso. Entre os quatro que sobraram, a leitura honesta é que estão próximos, por isso olhamos para aquilo de que um caso renhido deve depender numa ferramenta de estudo: sustentação na fonte e qualidade das perguntas, porque são elas que determinam se o conjunto te ensina a coisa certa.
O modelo que usamos estava no topo em ambas. Calhou ser também o mais rápido dos cinco, cerca de 23 segundos por conjunto contra 30, 45 e 80 dos outros. É um bónus simpático, não a razão.
Se a ordem tivesse sido a inversa, se o modelo mais rápido fosse o de sustentação mais frágil, teríamos lançado o lento. Já tomámos exatamente essa decisão.
Porque repetimos isto
Todos os modelos desta comparação têm menos de um ano, e pelo menos um deles estará substituído antes de o próximo semestre acabar. Uma escolha de modelo feita uma vez e nunca revista torna-se silenciosamente a escolha de quem lançou mais depressa em 2025.
Portanto isto é um teste recorrente, não um caso isolado. Os mesmos três documentos, as mesmas instruções congeladas, o mesmo painel às cegas, novos candidatos à medida que aparecem. Quando um modelo novo ganhar em sustentação e qualidade das perguntas, mudamos, e a mudança é aborrecida porque a bancada de testes já existe.
O que isto significa para ti
Duas coisas práticas.
Cada cartão que geras é avaliado, antes sequer de chegar até ti, quanto a poder ser rastreado até ao teu próprio documento. É essa a propriedade que otimizamos acima de todas as outras, incluindo a velocidade.
E se algum conjunto te parecer demasiado superficial ou demasiado estreito para o que o teu exame pede, cria um novo com mais dificuldade ou maior âmbito no formulário «Novo material». As duas definições são reais, e a cobertura é precisamente a dimensão onde sabemos que temos margem.
