Por Bogdan Yamkovenko, Gerente de Pesquisa de Eficiência, e Anna Bergstrom, Gerente Sênior de Comunicação com Doadores da Khan Academy.
Aprendizagem é nosso norte
A plataforma Khan Academy é fundamentada na ciência da aprendizagem e na pedagogia baseada no domínio.
Estamos comprometidos em garantir que qualquer pessoa, em qualquer lugar, tenha acesso a uma educação que permita aos alunos aprender no seu próprio ritmo, preencher lacunas de conhecimento e acelerar o aprendizado.
Estamos igualmente comprometidos em entender a eficácia de nosso produto nos resultados de aprendizagem. Nossa equipe de pesquisadores realiza regularmente estudos para testar a eficácia de nossa plataforma e determinar o impacto do nosso trabalho no aprendizado dos alunos.
Os resultados dos estudos de eficácia orientam as melhorias de nosso produto e as diretrizes de implementação, sendo também compartilhados com a comunidade acadêmica, educadores, formuladores de políticas e líderes comunitários para ajudá-los a tomar decisões mais informadas e baseadas em dados.
I. Resultados mais recentes do estudo de eficácia:
A Khan Academy realizou estudos de eficácia em várias redes parceiras que utilizam nossos produtos para Redes (disponível para parceiros no Brasil) e MAP Accelerator ¹ (disponível apenas nos EUA).
De acordo com nosso estudo recente com aproximadamente 350 mil alunos, de 8 a 14 anos de idade, durante o ano letivo ² de 2022-2023, foi constatado que:
- O uso da Khan Academy por 30 minutos ou mais por semana, ou 18 horas ou mais ao longo do ano letivo, está associado a um aumento de cerca de 20% no ganho de aprendizagem em relação ao esperado.
- medido pelo desempenho na avaliação MAP Growth (o “Enem” norte-americano) nacionalmente padronizada. Os resultados são consistentes entre os grupos demográficos. (Veja a figura 1).
- Cerca de 9% (~33 mil) dos alunos da amostra atingiram a dosagem recomendada de 30+ minutos por semana (ou 18+ horas por ano letivo).
- O tamanho do efeito neste estudo é de 0,36.
Embora seja verdade que os alunos na amostra do estudo que passaram mais tempo na plataforma Khan Academy — 18+ horas por ano letivo — apresentaram os maiores ganhos de aprendizagem, os alunos que passaram menos tempo do que a dosagem recomendada também experimentaram aumento no aprendizado.
Por exemplo, os 15% (55 mil) de alunos da amostra que utilizaram a Khan Academy de 9 a 18 horas ao longo do ano letivo apresentaram um ganho de aprendizagem ~7% maior do que o esperado.
¹ MAP Accelerator é uma ferramenta de aprendizado personalizada que usa as pontuações MAP® Growth™ para oferecer trajetórias de aprendizado personalizadas para cada aluno. MAP® Growth™ é uma avaliação dinâmica e adaptativa que mede o desempenho e o crescimento dos alunos nas áreas de matemática, leitura, uso da linguagem e ciências do ensino fundamental e médio. Mais informações sobre o MAP Accelerator podem ser acessadas aqui.
² Este estudo incluiu cerca de 350 mil alunos da 3ª a 8ª série que completaram as avaliações MAP Growth no outono e na primavera durante o ano letivo de 2022-23.
Figura 1
Comparação Ano a Ano
Este é o terceiro ano consecutivo em que a Khan Academy conduz o estudo mencionado, e atualmente há cerca de 221 mil alunos para os quais coletamos dados de dois ou mais anos.
Comparar esses 221 mil alunos com eles mesmos ao longo do tempo nos permite realizar uma análise mais profunda e rigorosa, que descarta fatores como o impacto de um aluno altamente motivado ou de um professor acima da média nos resultados de aprendizagem dos alunos. Esta análise longitudinal examina o seguinte:
- Como os ganhos de aprendizagem dos alunos mudam ano a ano conforme eles aumentam ou diminuem o uso da Khan Academy?
- Como os ganhos no teste MAP Growth mudam ano a ano conforme os alunos usam a Khan Academy para aprender mais ou menos habilidades em comparação com o ano anterior, onde as habilidades são aprendidas até o nível proficiente ou superior.
(Observe que na plataforma da Khan Academy, os níveis de habilidade variam de experimental, familiar e proficiente no domínio. Os alunos demonstram quais habilidades aprenderam e seu nível de habilidade atual respondendo corretamente a perguntas em exercícios, questionários, testes de unidade ou desafios de domínio.)
Os resultados deste rigoroso estudo longitudinal mostram:
- Cada habilidade adicional praticada até o nível proficiente ou experimental ³ resulta em ~0,5 ponto percentual em ganhos de aprendizagem em relação aos resultados do próprio aluno no ano anterior. Leia mais no blog da Khan Academy. (Veja a figura 2).
- Aproximadamente 52% (~115 mil) dos alunos na amostra aumentaram o número de habilidades aprendidas até o nível proficiente ano após ano, enquanto ~48% (106 mil) diminuíram o número de habilidades aprendidas em comparação ao ano anterior.
Alunos que aumentaram o número de habilidades aprendidas para proficiente observaram ganhos extras de aprendizagem, enquanto aqueles que diminuíram o uso observaram quedas adicionais.
- A quantidade de ganhos extras de aprendizagem depende das metas de aprendizagem de cada aluno e do número total de habilidades adicionais aprendidas até o nível proficiente ano a ano.
Por exemplo, alunos que aumentaram o número de habilidades que praticaram até o nível proficiente em 1-15 habilidades (~30% da amostra, ~66 mil alunos) tendem a ver, em média, ganhos de 5 pontos percentuais. Aqueles que aumentaram sua prática em 15-30 habilidades (~10% da amostra, 20 mil alunos) tendem a ver, em média, ganhos de 15 pontos percentuais.
Aproximadamente 4% (9,5 mil) dos alunos em nossa amostra de estudo longitudinal aumentaram o número de habilidades que aprenderam até o nível proficiente ou dominado em 60% ou mais em comparação ao ano anterior.
Esses alunos normalmente veem um aumento de ~30% nos ganhos. Esses ganhos para um aluno médio na amostra se traduzem em cerca de 20%-30% de aumento no aprendizado.
³ Na plataforma Khan Academy, os níveis de habilidade vão de tentativa, familiar, proficiente à dominado. Os alunos demonstram quais habilidades aprenderam e seu nível de habilidade atual respondendo corretamente a perguntas em exercícios, questionários, testes ou desafios de maestria.
Figura 2
Estudos longitudinais como este são considerados rigorosos, relativamente raros e quase experimentais. Poucos estudos de tecnologia educacional (edtech) têm participantes na casa das centenas de milhares, e apenas um ensaio clínico randomizado (RCT) é considerado mais rigoroso.
Além disso, neste estudo incluímos todos os alunos, independentemente de quanto usaram a Khan Academy, o que ajuda a responder uma das críticas mais comuns aos estudos de edtech, que afirmam que as ferramentas de edtech funcionam apenas para alunos motivados.
Os resultados desta pesquisa longitudinal mais rigorosa nos fornecem um vínculo causal entre os ganhos de aprendizagem e o uso da Khan Academy, tanto o tempo gasto quanto as habilidades praticadas até o nível proficiente ou dominado.
II. Exemplo Ilustrativo – Usando a Khan Academy para Fechar Lacunas de Aprendizagem dos Alunos
Para colocar esses resultados em perspectiva, considere que um aluno médio de 5º ano deve ganhar cerca de 10 pontos entre seus testes de MAP Growth de outono e primavera, de acordo com a NWEA (a criadora do teste).
No entanto, os alunos geralmente ganham menos do que o esperado, então este aluno ganha 8 pontos. Com o tempo, se essa taxa típica de aprendizagem continuar, é provável que a lacuna de aprendizagem de um aluno médio aumente.
No entanto, ao usar a Khan Academy para complementar o aprendizado em sala de aula, um aluno hipoteticamente médio pode atingir ou até superar sua meta de aprendizagem ao se tornar proficiente em mais habilidades do que alcançou no ano anterior da seguinte maneira:
- Considere um aluno do 5º ano que trabalha em uma unidade do curso de matemática da Khan Academy para o 5º ano e completa poucas habilidades—10 habilidades das 130 disponíveis no curso—além do que ele aprendeu em outros currículos/recursos.
Este aluno termina o ano escolar com ganhos no MAP Growth Assessment que representam 80% da sua meta do 5º ano, ou cerca de 8 pontos a mais do que ele obteve no teste de outono, mas 2 pontos a menos do que o nível de crescimento esperado.
- Agora, suponha que no ano seguinte ele use a Khan Academy para complementar o que está aprendendo no currículo principal e se torne proficiente em 50 habilidades do 6º ano—são 40 habilidades a mais em comparação com o que ele aprendeu na Khan Academy no ano anterior (quando ele aprendeu 10 habilidades).
Com base em nossa descoberta realizada na pesquisa, é que cada habilidade adicional aprendida até o nível proficiente ou dominado resulta em um aumento de 0,5 pontos percentuais no aprendizado, esperaríamos que este aluno se aproximasse 20 pontos percentuais de sua meta. Isso é um aprendizado significativo:
- 20% de aprendizado incremental com a prática de habilidades na Khan Academy, combinado com 80% da meta individual do aluno no final do 5º ano, significa que esse aluno provavelmente atingirá 100% de sua meta de aprendizagem no 6º ano.
- Se o mesmo aluno se tornar proficiente em ainda mais habilidades no mesmo ano além das 40 mencionadas neste exemplo, ele poderia até superar sua meta de aprendizagem.
III. Metas Organizacionais e Diretrizes de Implementação Informadas pela Pesquisa de Eficácia:
Na Khan Academy, extrapolamos os resultados das pesquisas de eficácia para estabelecer metas organizacionais que impulsionam melhores resultados para os alunos e informam as diretrizes de implementação para educadores, com o objetivo de abordar a lacuna de aprendizagem.
Dado que a maioria dos alunos está alcançando apenas ~85% de seu crescimento esperado, estabelecer diretrizes de implementação para acelerar o aprendizado em 30% significa que os alunos terão um caminho claro para alcançar ou até superar sua meta de aprendizagem.
Estamos focados em fazer com que o maior número possível de alunos se envolvem profundamente com a Khan Academy para impulsionar os resultados (tanto o tempo quanto as habilidades para proficiência), por isso definimos metas organizacionais para as seguintes métricas e fornecemos aos educadores as seguintes diretrizes práticas de implementação:
- Alunos muito ativos ao longo do ano escolar: 18+ horas durante o ano escolar ou 30+ minutos por semana | Esta diretriz é informada por vários anos de pesquisa de eficácia que mostram que alunos que atingem esse uso profundo da Khan Academy experimentam ganhos de aprendizagem ~20-30% maiores do que o esperado. Aproximadamente 9% (~33K) dos alunos em nossa amostra de estudo de 2022-2023 se tornaram YVALs.
- Alunos proficientes ao longo do ano escolar: 60+ habilidades proficientes ao longo do ano escolar ou 2+ habilidades proficientes por semana. Esta diretriz de implementação é informada pelos resultados de pesquisa de eficácia que mostram que o aumento ano a ano de habilidades aprendidas para proficiente ou dominado melhora o aprendizado em ~0,5 pontos percentuais.
No entanto, acompanhar os ganhos de habilidades ano após ano até o nível proficiente ou dominado não é prático em muitos casos. Como resultado, estamos recomendando 60+ habilidades como um proxy simplificado e prático.
Embora os alunos, especialmente aqueles que estão significativamente atrasados, possam ver ganhos de 30% com até menos prática, definimos 60+ habilidades como um marco rigoroso. Este ano, começamos a apresentar a métrica de alunos proficientes aos educadores em nosso Programa de Parcerias com as Redes.
Olhando para o futuro
Continuaremos conduzindo estudos adicionais sobre nossa plataforma principal, incluindo um estudo em parceria com a Universidade de Toronto e Stanford, que dá passos além da nossa pesquisa existente para isolar o impacto da Khan Academy nos resultados de aprendizagem.
Além disso, estão em andamento estudos para entender como o Khanmigo, o tutor de inteligência artificial da Khan Academy para estudantes e assistente para professores, impacta os resultados de aprendizagem.
Estudos de eficácia focados no Khanmigo irão avaliar até que ponto o Khanmigo impacta a aprendizagem, determinando como ele ajuda os alunos a progredir no conteúdo da Khan Academy e o impacto do Khanmigo nas pontuações dos alunos em testes fora da plataforma da Khan Academy.
