Há três anos, a Khan Academy lançou o Khanmigo, um tutor baseado em IA generativa para estudantes e um assistente para professores.
Desde então, temos trabalhado continuamente para aprimorar suas capacidades de tutoria. Hoje, compartilhamos os resultados dos nossos esforços mais recentes de melhoria.
Nossos esforços são graduais e contínuos, e estamos entusiasmados com a melhoria de seis pontos percentuais descrita abaixo.
Aplicado a milhões de sessões de prática por dia, esse ganho se traduz em um aumento significativo no número de estudantes que aprendem a cada interação de tutoria.
Acreditamos que esse tipo de processo de desenvolvimento de produto — testar rigorosamente, medir resultados com cuidado e descartar o que não funciona — é essencial para construir ferramentas de IA eficazes na educação.
Como estudamos o que funciona
Coletamos evidências sobre o Khanmigo de diversas maneiras, incluindo observações em sala de aula, entrevistas com professores e alunos, e análises de transcrições de conversas dos estudantes.
Ao longo de seis meses, de outubro de 2025 a abril de 2026, a Khan Academy realizou uma série rigorosa de testes de produto para entender quais mudanças poderiam aumentar a eficácia do Khanmigo.
As descobertas a seguir resumem o que aprendemos e como estamos usando esse conhecimento para aprimorar a ferramenta.
Como medimos o sucesso
Ao longo deste trabalho para aprimorar o Khanmigo, acompanhamos três métricas principais. Dependendo do teste, cada métrica serviu como objetivo primário ou como uma métrica de salvaguarda para garantir que não estávamos melhorando uma dimensão em detrimento de outra.
Nossas métricas principais:
- Latência de resposta: o tempo que o estudante espera entre fazer uma pergunta e receber a resposta do Khanmigo. Um elemento essencial para manter os alunos engajados é fazer com que a interação pareça uma conversa natural. Respostas mais rápidas mantêm os estudantes focados e são fundamentais para que a ferramenta pareça natural.
- Acerto do próximo item: avalia se o estudante responde corretamente ao problema seguinte após receber a tutoria. Essa métrica mede se o aluno acertou de primeira o próximo problema da mesma habilidade, durante a mesma sessão, sem nenhuma ajuda do Khanmigo. É uma medida direta de transferência de aprendizagem independente, e não apenas do desempenho com o auxílio da IA.
- Qualidade do engajamento cognitivo: utilizando uma escala de classificações entre “passivo”, “ativo” e “construtivo”, trata-se de uma avaliação automatizada para verificar se a troca em cada interação de tutoria foi pelo menos “ativa” — ou seja, se o estudante estava raciocinando e se envolvendo em vez de apenas receber a informação de forma passiva. Você pode ler mais sobre o nosso trabalho de mensuração do engajamento cognitivo na ACL Anthology.
Também monitoramos métricas de salvaguarda adicionais em cada teste, incluindo casos de entrega da resposta antes do aluno enviar sua tentativa, taxas de erros matemáticos e interações por histórico de chat.
Isso foi feito para garantir que as mudanças não causassem impactos negativos indesejados em outras áreas.
Realizamos esses experimentos por meio de uma plataforma de testes A/B que prevê se a versão testada resultará em métricas melhores do que a nossa versão de controle.
Isso é chamado de “chance de vitória”. Se essa probabilidade for maior que 0,95, sem nenhum impacto negativo nas métricas de salvaguarda, nós implementamos a mudança.
Tornando o agente de matemática mais rápido sem comprometer a precisão
Quando um aluno está resolvendo um problema de matemática, o Khanmigo utiliza um sistema especializado que verifica cálculos e checa expressões matemáticas em tempo real.
Esse “agente de matemática” funciona nos bastidores e ajuda a garantir que, quando o Khanmigo responde ao estudante, a matemática esteja correta.
Reduzir o tempo que esse sistema leva para responder é fundamental. Quanto menor o tempo de espera entre a pergunta do aluno e a resposta recebida, maior o engajamento e mais natural a ferramenta se torna.
Realizamos uma série de testes focados em reduzir esse tempo de espera, monitorando de perto a qualidade do engajamento cognitivo e a correção da próxima atividade para garantir que respostas mais rápidas não prejudicassem a qualidade educacional.
Resultados
- Modelo de IA mais rápido: Ao trocar o agente de matemática por um modelo de IA mais veloz, o tempo de resposta foi reduzido em 0,3 segundo em 1,35 milhão de interações de tutoria ao longo de 12 dias. A precisão matemática permaneceu estável.
- Respostas mais concisas: Ao instruir o agente de matemática a gerar respostas mais curtas para o Khanmigo, o tempo médio de resposta diminuiu em 3 segundos em 352 mil interações de tutoria durante cinco dias.
Em um experimento posterior, limitamos o agente a focar apenas na matemática que o aluno já havia realizado, em vez de resolver também os passos restantes até a solução. Isso reduziu a latência em mais 400 milissegundos e diminuiu em 50% os casos em que a resposta era revelada ao aluno. A precisão matemática continuou estável. - Verificação prévia inteligente: A inclusão de uma etapa preliminar para determinar se a verificação matemática era realmente necessária antes de acionar o agente reduziu chamadas desnecessárias ao sistema em 1,04 milhão de interações de tutoria, diminuindo o tempo de resposta em cerca de 0,3 segundo. A precisão matemática permaneceu estável.
Principal aprendizado: Identificamos diversas estratégias para reduzir a latência das respostas do Khanmigo — incluindo o uso de um modelo mais rápido, respostas mais curtas, limites de tempo mais ajustados e um encaminhamento mais inteligente das solicitações — sem sacrificar a qualidade da tutoria.
Essas melhorias são importantes tanto para a experiência dos estudantes, que permanecem mais focados com respostas rápidas, quanto para a sustentabilidade de custos em larga escala.
Usando o histórico de aprendizagem do aluno na Khan Academy para melhorar a tutoria
Quando um estudante abre o Khanmigo durante um exercício de prática, a IA consegue ver o problema em que ele está trabalhando. No entanto, ela não sabe automaticamente qual tem sido o desempenho do aluno naquele exercício, qual nível de habilidade ele demonstrou ou onde ele tem encontrado dificuldades.
Realizamos uma série de testes de produto para avaliar se dar ao Khanmigo acesso a uma parte maior do histórico de aprendizagem do estudante na Khan Academy — incluindo suas tentativas de prática recentes, níveis de habilidade demonstrados e progresso em pré-requisitos — ajudaria a tornar a tutoria mais eficaz.
Uma nota importante sobre privacidade: o Khanmigo cumpre com as regulamentações de privacidade, incluindo as normas de privacidade de dados dos estudantes dos países em que está disponível, bem como leis de privacidade.
O principal resultado analisado aqui foi o “acerto no próximo item”: o aluno conseguiu acertar o problema seguinte após receber a tutoria?
O que funcionou:
- Fornecer um resumo do histórico recente de resolução de problemas do estudante na Khan Academy (incluindo quantos problemas ele tentou recentemente e quais ele acertou ou errou) aumentou o acerto no próximo item em +3,4% em 608 mil históricos de chat de tutoria. Há uma chance de 97,5% de que a inclusão dessa informação seja melhor do que a não inclusão na população geral de usuários. Todas as métricas de salvaguarda se mantiveram estáveis.
- Trazer à tona habilidades de pré-requisito que o estudante ainda não domina e oferecer uma breve revisão antes do problema mais difícil aumentou o acerto no próximo item em 2,7% em 1,36 milhão de históricos de chat de tutoria. Há uma chance de 98,5% de obter resultados melhores do que quando essa informação não é incluída.
- Fornecer o registro completo da conversa da sessão. Inicialmente, incluir todo o histórico de conversas da sessão atual como parte das informações disponíveis para o modelo (conforme os alunos continuavam trabalhando nas habilidades) não gerou melhorias mensuráveis no desempenho por si só.
Diante disso, fizemos duas mudanças:
1) Colocamos a conversa em texto simples em vez do formato JSON (um formato de transferência de dados que é difícil de processar);
2) Adicionamos todos os históricos de chat relacionados àquela habilidade nas últimas 24 horas, e não apenas da sessão atual.
Ao fazer isso, identificamos um aumento de 5,09% no engajamento cognitivo — uma chance de 99,4% de um engajamento melhor com essa informação do que sem ela.
Atualmente, estamos planejando experimentos para extrair os elementos pedagogicamente significativos dos registros para enviar ao Khanmigo, em vez de apenas enviar os históricos brutos.
O que não mudou o cenário:
- Adicionar exemplos de diferentes tipos de problemas relacionados à habilidade como parte do comando (prompt) não surtiu efeito.
- Disponibilizar links de conteúdos complementares mais relevantes, baseados na posição do estudante na jornada da Khan Academy, não mostrou mudança estatisticamente significativa no acerto do próximo item.
A alteração foi implementada porque não causou danos e reduziu sutilmente o tempo de resposta, tornando a experiência um pouco mais rápida para os alunos.
Principal aprendizado: Quando o Khanmigo tem acesso a sinais estruturados do registro de aprendizagem do estudante na Khan Academy — como seus padrões de desempenho recente e lacunas de habilidades —, ele entrega uma tutoria mensuravelmente melhor. No total, observamos uma melhoria de 6,1% no acerto do próximo item.
Nosso compromisso com o progresso baseado em princípios
Ao longo de aproximadamente 20 testes substanciais de produto nesta área durante seis meses:
| O que testamos | Objetivo | Métricas principais |
| Tornar o agente de matemática mais rápido | Reduzir a latência de resposta | Mantiveram-se estáveis |
| Dar ao Khanmigo o histórico estruturado de aprendizagem da Khan Academy | Aumentar o acerto no próximo item | Positivo (+2,7% e +3,4%, totalizando 6,1%) |
| Dar ao Khanmigo dados difíceis de processar | Aumentar o acerto no próximo item | Neutro, sem efeito mensurável |
Esses testes de produto cobriram um total de mais de 15 milhões de históricos de chat de tutoria ao longo de um período de seis meses. Cada teste comparou a nova versão com a experiência de produto já existente, e os resultados foram avaliados com base na probabilidade de alterarem nossas métricas principais antes que qualquer mudança fosse lançada para o público geral.
O cenário geral mostra uma otimização cuidadosa e baseada em evidências. Nenhuma melhoria isolada gerou um salto dramático por si só, mas, coletivamente, este conjunto de trabalho aumentou significativamente a eficácia do Khanmigo e identificou maneiras mais rápidas e econômicas de operá-lo em larga escala.
Um artigo completo detalhando nossas métricas, infraestrutura e resultados dos experimentos será publicado na 27ª Conferência Internacional de IA na Educação (AIED).
