Por Bogdan Yamkovenko
Na Khan Academy, acreditamos que cada aluno merece acesso a uma educação gratuita e de alta qualidade.
É por isso que não nos limitamos a criar ferramentas de aprendizagem na esperança de que funcionem. Nós as estudamos. Com cuidado. Ao longo do tempo. Com o mesmo rigor que se esperaria de instituições acadêmicas.
Nossa pesquisa mais recente em Newark, Nova Jersey, EUA — onde a Khan Academy é amplamente utilizada por cerca de 8.000 alunos (cerca de 5.200 alunos observados ao longo de vários anos) em 13 escolas de North Ward — é um poderoso exemplo desse compromisso.
Uma pesquisa de três anos
Muitas vezes, na educação, os programas são julgados por resultados superficiais: comparando alunos de alto uso, que geralmente têm alto desempenho, com alunos de baixo uso, que geralmente têm baixo desempenho, e afirmando sucesso.
Mas isso não é boa ciência — e não diz o que realmente funciona.
Em vez disso, nossa equipe de pesquisa realizou um estudo longitudinal de três anos no qual isolamos o efeito do uso da Khan Academy nos resultados dos alunos, controlando características estáveis e não observáveis do aluno e do professor (por exemplo, motivação do aluno, estilo do professor).
Essa abordagem é poderosa porque elimina a influência de fatores difíceis ou impossíveis de medir, como a motivação do aluno e o estilo do professor.
Uma vez que essa confusão é removida, o que resta é o efeito do uso da Khan Academy que varia de ano para ano. Assim como em todos os estudos, há uma ressalva para isso. Pode haver outras coisas que mudam com o tempo que não levamos em conta na análise.
Mas essa é uma fraqueza do estudo que estamos dispostos a aceitar, e estamos desenvolvendo métodos para abordar isso.
O que descobrimos
Os resultados foram convincentes: a cada 10 novas habilidades que um aluno aprende na Khan Academy, há um ganho de cerca de um ponto no teste estadual de Nova Jersey (PARCC). Claro, 10 habilidades ao longo do ano letivo não é muito.
A maioria dos nossos cursos abrange entre 120 e 140 habilidades. Isso significa que um aluno que aprendeu 60 habilidades a mais em um determinado ano do que em um ano anterior poderia esperar um ganho de seis a oito pontos no NJSLA (New Jersey Student Learning Assessments, a principal avaliação externa da rede) — um aumento significativo em uma escala de 650 a 850 pontos.
Em média, de ano para ano, os alunos não mudam muito suas notas no NJSLA. Eles tendem a manter-se a alguns pontos da nota do ano anterior. Isso significa um ganho de dois pontos, em média, para NJ e um ganho de quatro pontos para o contexto estadual.
Portanto, ganhar seis pontos adicionais é quase o triplo do ganho médio do estado e 1,5 vezes o ganho do rede distrital.
Os resultados foram consistentes em todos os grupos demográficos.
Figura 1. Impacto estimado da mudança nas habilidades nas notas dos testes
A Figura 1 acima mostra uma nuance nesta descoberta. Para ganhos crescentes, o que importa é o aumento da prática, ou o número de habilidades que você aprende. Por exemplo, suponha que um aluno gaste muito pouco tempo na prática no ano 1.
Então, no ano 2, eles aumentam a quantidade de prática (por exemplo, aprendem 30 habilidades a mais).
Esperaríamos que a nota deles aumentasse em cerca de três pontos. No ano 3, eles praticam a mesma quantidade que no ano 2. Esperaríamos que eles tivessem a mesma pontuação que no ano 2.
Ou seja, melhor do que no ano 1, mas não muito melhor do que no ano 2. Além disso, a redução da prática de um ano para o outro pode levar a notas de teste mais baixas.
Por que isso importa?
Esse tipo de pesquisa é raro, mas essencial, no mundo da edtech.
Quando dizemos que a Khan Academy funciona, queremos ser capazes de provar isso — não com suposições, mas com dados, e não apenas para alguns alunos, mas para muitos. Incluímos todos os alunos em nosso estudo, independentemente de quanto usaram a Khan Academy.
Temos orgulho do progresso que os alunos de Newark fizeram.
A implementação da Khan Academy em Newark é extremamente forte e tem aumentado nos últimos dois anos. Mais de 50% dos alunos dominam mais de 60 habilidades em nossos cursos.
Temos ainda mais orgulho de nos mantermos em um padrão que coloca o sucesso deles em primeiro lugar.
