Por Bogdan Yamkovenko, Diretor de Pesquisa de Eficácia
Os professores têm um papel fundamental na forma como os alunos utilizam ferramentas de aprendizagem.
Em salas de aula reais, os estudantes geralmente não decidem sozinhos quanto tempo irão dedicar a uma plataforma como a Khan Academy. Essas escolhas são influenciadas pelos professores, pelas expectativas da escola e pelo ambiente de aprendizagem como um todo.
Essa realidade torna uma questão comum de pesquisa surpreendentemente difícil de responder: o uso de uma ferramenta de tecnologia educacional realmente faz com que os alunos aprendam mais, ou está apenas associado a outros fatores, como um ensino de qualidade ou apoio adicional em casa?
Para buscar uma resposta mais precisa, firmamos uma parceria com pesquisadores da Universidade de Stanford e da Universidade de Toronto em um estudo amplo, realizado ao longo de vários anos. Utilizando dados de centenas de redes escolares dos Estados Unidos, a pesquisa analisou como as mudanças no uso da Khan Academy ao longo de três anos se relacionam com mudanças no desempenho dos estudantes em testes de matemática.
Os resultados desse estudo foram publicados nos Anais da Academia Nacional de Ciências dos Estados Unidos (PNAS).
Por que correlações simples entre uso e resultados são enganosas
Quase sempre existe uma correlação entre o uso de uma ferramenta de tecnologia educacional e o desempenho em testes. Essa correlação pode existir por diferentes razões.
Uma delas é que o uso dessas ferramentas realmente ajuda os alunos a aprender. Outra possibilidade é que estudantes com melhor desempenho tendem a utilizar essas ferramentas com mais frequência e, consequentemente, obtenham notas mais altas.
Também pode acontecer de um professor adaptar sua prática pedagógica para incluir mais ferramentas educacionais digitais em conjunto com outras estratégias de ensino eficazes.
Em outras palavras, a correlação é “ruidosa” e, por si só, não garante que a ferramenta seja efetiva.
De modo geral, esse “ruído” pode vir de quatro fontes diferentes:
- Diferenças estáveis entre os alunos (por exemplo, motivação).
- Mudanças nos alunos ao longo do tempo (por exemplo, neste ano o estudante passou a ter um tutor particular, enquanto no ano anterior não tinha).
- Características estáveis dos professores (por exemplo, seu estilo de ensino).
- Mudanças nos professores ao longo do tempo (por exemplo, o professor participou de uma formação continuada neste ano, mas não no ano anterior).
Em nosso estudo, abordamos essas questões da seguinte maneira:
Considerando o mundo real em nossa pesquisa de eficácia
Primeiramente, como temos múltiplas observações de cada estudante ao longo do tempo, conseguimos controlar características estáveis dos alunos por meio de efeitos fixos dos estudantes. Essa é uma abordagem que já utilizamos em pesquisas anteriores. Agora, avançamos ainda mais.
Em segundo lugar, em vez de analisar o tempo que cada aluno individualmente passa na Khan Academy, calculamos a média de tempo de uso da plataforma entre todos os estudantes de uma determinada turma em um determinado ano. No entanto, ao calcular essa média, excluímos o próprio aluno da análise.
Por exemplo, se um estudante faz parte de uma turma com 30 alunos, seu nível de exposição à Khan Academy é estimado pela média de uso dos outros 29 colegas. Como o uso individual do estudante não é considerado diretamente, essa abordagem reduz significativamente os vieses decorrentes de características individuais dos alunos que podem mudar ao longo do tempo.
Em essência, o foco da análise passa a ser o uso da Khan Academy no nível da sala de aula, e não o uso individual de cada estudante.
Por fim, como também possuímos múltiplas observações de cada professor, conseguimos controlar características estáveis dos docentes por meio de efeitos fixos dos professores.
Isso significa que analisamos, na prática, a relação entre o tempo médio que os alunos de cada professor passam na Khan Academy e o desempenho desses estudantes nos testes, isolando características permanentes de cada docente.
Ainda restam os fatores que variam ao longo do tempo e que podem influenciar tanto os resultados dos estudantes quanto às mudanças no uso da ferramenta pelos professores. Esse é o ponto central explorado no estudo.
Nossa hipótese é que os professores costumam alterar seu nível de uso da Khan Academy por motivos que não estão diretamente relacionados a mudanças na aprendizagem dos alunos, como:
- Mudanças nas políticas da escola;
- Novas formações e capacitações sobre o uso da ferramenta;
- As próprias crenças dos professores sobre a eficácia de uma determinada plataforma educacional.
É claro que os professores não modificam suas práticas pedagógicas de forma aleatória. A questão fundamental é saber se o aumento do uso da Khan Academy acontece justamente em anos em que outros fatores também poderiam elevar os resultados dos testes.
Para testar essa hipótese, realizamos diferentes análises:
1. Comparação entre professores da mesma escola
Analisamos o quanto as mudanças de uso da Khan Academy eram semelhantes entre professores da mesma instituição e encontramos um alto grau de similaridade. Isso sugere que as mudanças de uso são mais influenciadas por políticas e decisões da escola do que por iniciativas isoladas de professores.
2. Comparação com resultados em leitura
Também investigamos a relação entre o aumento do uso da Khan Academy em matemática e o desempenho em leitura. Não encontramos associação significativa. Isso indica que os resultados observados não parecem ser consequência de uma melhora geral na qualidade do ensino que afetaria várias disciplinas ao mesmo tempo.
3. Análise no nível da escola
Em vez de calcular a média de uso da Khan Academy por turma ou professor, calculamos a média de uso de toda a escola e avaliamos como as mudanças nesse indicador afetavam as notas dos estudantes. Os resultados foram praticamente os mesmos daqueles obtidos na análise baseada nos professores.
O que isso significa?
Os resultados mostram que, quando um professor aumenta o uso da Khan Academy em sala de aula, os alunos tendem a apresentar melhores resultados de aprendizagem naquele ano em comparação com o ano anterior.
Da mesma forma, quando um estudante passa de uma escola ou turma com baixo uso da Khan Academy para outra com uso mais intenso da plataforma, ele tende a obter notas mais altas nos testes.
Considerando os resultados encontrados e as diversas verificações realizadas para testar a robustez das conclusões, é muito mais provável que esse efeito seja resultado da prática e do aprendizado proporcionados pela Khan Academy do que de outros fatores, como:
- Qualidade do professor;
- Influência dos colegas;
- Diferenças individuais entre os estudantes.
Em outras palavras, as evidências indicam que o uso da Khan Academy está associado a ganhos reais de aprendizagem, e não apenas a características externas que poderiam explicar os resultados observados.
Por que este estudo é diferente?
O PNAS (Proceedings of the National Academy of Sciences) está entre os periódicos acadêmicos mais prestigiados do mundo. A revista não costuma publicar estudos sobre eficácia de tecnologias educacionais.
Seu foco está em pesquisas rigorosas e inovadoras, com implicações relevantes para políticas públicas e para a comunidade científica.
O processo de revisão por pares da revista é extremamente criterioso, com uma taxa de aceitação de apenas 13%.
Este estudo foi publicado devido à sua metodologia cuidadosa e rigorosa, à abordagem imparcial da análise, ao contexto real de aplicação e à relevância de seus resultados.
Os dados analisados vieram de centenas de distritos escolares dos Estados Unidos, envolvendo aproximadamente 200 mil estudantes. Nesse contexto, o uso médio da Khan Academy foi de apenas 10 a 15 minutos por semana.
Mesmo com esse nível de utilização — abaixo da recomendação da plataforma, que é de 30 minutos semanais — e após a aplicação de controles estatísticos rigorosos, a Khan Academy apresentou um impacto significativo nos resultados de aprendizagem.
Em outras palavras, o estudo sugere que, mesmo quando utilizada por um período relativamente curto e em condições reais de sala de aula, a Khan Academy está associada a melhorias mensuráveis no desempenho dos estudantes.
