Por Sal Khan, Fundador e Diretor Executivo (CEO) da Khan Academy.
Nossa equipe de eficácia e pesquisa me chamou a atenção para um novo estudo do NBER: “One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment” (A Um Clique de Distância: Tutoria com IA usando o Khanmigo em um Experimento Escolar de Dois Anos), de Philip Oreopoulos e Nina Low.
Para deixar claro desde o início: a Khan Academy não esteve envolvida no planejamento nem na execução deste estudo. Trata-se de uma pesquisa independente, e é exatamente por isso que vale a pena compartilhar. Esta é a minha leitura do que há de mais interessante nele.
Ajustando para o efeito implícito de um ano inteiro de participação ativa, uma análise secundária focada em alunos com defasagens de aprendizagem (ou seja, abaixo do nível esperado do ano escolar) mostra um ganho de 0,14 DP (desvios-padrão).
Esse é o número no qual quero me ancorar. O artigo observa que 0,14 DP está dentro da faixa de evidências experimentais para softwares de prática de matemática, que varia de 0,05 a 0,20 DP.
Primeiro, a população de estudantes neste estudo recente está abaixo do nível da série em matemática. Segundo, o grupo de controle utilizou outras ferramentas de tecnologia educacional.
Assim, esses 0,14 DP podem ser interpretados como o benefício incremental da Khan Academy e do Khanmigo além das ferramentas tecnológicas alternativas, mostrando-se útil para alunos que iniciam o ano letivo com defasagem de aprendizagem.
O cenário
Pesquisadores da Universidade de Toronto e da Charles River Associates conduziram o estudo como um ensaio clínico randomizado (RCT) rigoroso em 18 escolas de ensino fundamental (anos finais) ao longo de dois anos letivos (2024-2025 e 2025-2026) no Condado de Hamilton, no Tennessee, EUA.
Um RCT é amplamente considerado o padrão-ouro em termos de evidência. Em vez de comparar escolas ou alunos que escolheram participar por conta própria, um RCT distribui aleatoriamente quem recebe o programa e quem não recebe, a melhor abordagem que temos para isolar causa e efeito.
Os alunos do estudo apresentavam defasagem de aprendizagem e participavam de um programa diário de reforço em matemática. Mais de um quarto da amostra do estudo possuía diagnóstico para Educação Especial.
Uma crítica comum às tecnologias educacionais é que elas raramente funcionam para esse perfil de estudante. Esse foi outro motivo pelo qual fiquei curioso para ver os achados do estudo: conseguimos ajudar esse grupo de alunos a alcançar ganhos reais?
Por que o grupo de controle faz tanta diferença aqui
Eis o detalhe que mais importa para interpretar esse número de 0,14 DP: o grupo de controle funcionou sob o que os pesquisadores chamam de “rotina habitual”.
Isso significa que eles continuaram utilizando o que já estava em vigor antes da pesquisa. Não se trata de comparar a Khan Academy com “nenhuma tecnologia” ou com uma sala de aula tradicional.
Para a maioria dessas escolas, a rotina habitual envolvia outras ferramentas online, como Waggle, IXL, Zearn e DeltaMath. Das 18 escolas, 14 usaram pelo menos uma dessas ferramentas no grupo de controle.
Portanto, o estudo não pergunta “a Khan Academy é melhor do que não fazer nada”. Ele mede o desempenho da Khan Academy em comparação com o que a rede parceira já estava executando no seu horário de reforço, o que, na maioria das escolas, já incluía outros produtos de tecnologia educacional.
Na minha visão, esse é um patamar de exigência muito mais alto, e é justamente o que importa para uma rede parceira ao decidir onde aplicar seu orçamento. Dito de outra forma: este número não representa o benefício total da Khan Academy versus o nada, mas sim o benefício incremental da Khan Academy em relação às intervenções que já existiam.
O número principal e o que considero o mais real
Utilizando a comparação padrão e mais conservadora (Intenção de Tratar: todos os alunos atribuídos ao grupo de controle versus todos atribuídos à Khan Academy, independentemente do quanto realmente usaram a plataforma), o efeito combinado de dois anos foi de aproximadamente 0,06 DP, atingindo 0,08 DP isoladamente no Ano 2, após a maturação da implementação.
O Ano 1 não demonstrou um efeito estatisticamente confiável, o que o estudo atribui a um início lento motivado por atrasos na enturmação e pela troca do sistema de avaliações no meio do ano letivo.
Contudo, eis o número que considero a leitura mais relevante sobre o impacto real do programa: 0,14 DP.
O estudo adotou a regra de “uma vez dentro, sempre dentro”. Ou seja, uma vez incluído na pesquisa, o estudante permanecia na amostra até o fim.
No entanto, cerca de dois em cada cinco alunos conseguiram recompor suas aprendizagens e saíram do programa de reforço ao longo do estudo. Mesmo assim, eles continuaram sendo contabilizados nos cálculos, embora já não estivessem mais frequentando as sessões.
Quando os pesquisadores isolaram apenas os estudantes que permaneceram no programa de reforço durante todo o segundo ano, o grupo de intervenção que utilizou a Khan Academy obteve um ganho de 0,14 DP em relação ao grupo de controle.
Defendo que esse ganho poderia ter sido ainda maior se os 2/5 dos alunos que apresentaram o maior progresso e saíram do programa tivessem continuado nele, mantendo esse ritmo de aceleração.
O que o estudo destaca de início
Preciso deixar claro que o achado colocado como central pelos autores não foi esse. O título do estudo é “A Um Clique de Distância: Tutoria com IA usando o Khanmigo em um Experimento Escolar de Dois Anos”
O objetivo inicial da pesquisa era examinar os efeitos específicos do Khanmigo. No entanto, os alunos utilizaram o Khanmigo com baixa frequência, o que coincide com o que temos alinhado publicamente há algum tempo.
O artigo atribui o baixo uso do Khanmigo a barreiras comportamentais relacionadas à busca por ajuda por parte dos alunos, algo agravado por uma interface pouco proativa, e não a limitações da ferramenta em si.
Nós também observamos essa dinâmica e foi exatamente por isso que reformulamos a experiência de sala de aula: agora, o Khanmigo está integrado diretamente ao fluxo de prática dos exercícios, sem exigir que o estudante precise ativamente abri-lo.
Todas as nossas redes de ensino parceiras utilizarão essa nova experiência redesenhada neste ano letivo.
Por que estou compartilhando isso
Este é um dos muitos estudos sobre a Khan Academy e, assim como vários outros, não tivemos qualquer envolvimento em seu planejamento ou execução.
Um ensaio clínico randomizado (RCT) rigoroso demonstrando um efeito de 0,14 DP para estudantes com defasagem de aprendizagem que mantiveram acesso contínuo, medido não em relação a “fazer nada”, mas em comparação com o que o distrito já estava utilizando, em uma população historicamente difícil de engajar e evoluir, é um resultado genuinamente forte.
Acredito que os números de destaque de 0,06 e 0,08 DP acabam, na verdade, subestimando esse impacto.
O artigo completo está disponível aqui para quem trabalha com políticas educacionais, tecnologia na educação, ou simplesmente quer ver como são as evidências científicas rigorosas sobre EdTech atualmente: https://www.nber.org/papers/w35620
