Por Kristen DiCerbo, diretora de aprendizagem da Khan Academy
Muitos estudantes nos Estados Unidos enfrentam dificuldades com matemática.
Essa tendência começa ainda nos primeiros anos do ensino fundamental e só piora com o tempo: à medida que os alunos avançam de série, os conceitos matemáticos tendem a se basear nos aprendizados anteriores.
Para os alunos que têm dificuldades com matemática desde cedo, isso significa que a matéria se torna cada vez mais desafiadora com o passar do tempo.
A queda na proficiência em matemática
Essa ideia é confirmada pelos dados mais recentes do The Nation’s Report Card, que mostram que o número de estudantes nos EUA com proficiência em matemática diminui à medida que avançam de série:
Segundo o relatório, 64% dos alunos do 4º ano estão abaixo do nível de proficiência em matemática. (em inglês)
Nessa fase, eles podem ter dificuldades com operações como adição e subtração de números com vários dígitos.
No 8º ano, 74% dos estudantes estão abaixo do nível de proficiência em matemática (em inglês), o que significa que podem ter dificuldades para resolver problemas do cotidiano com frações, como converter centavos em dólares.
No 12º ano, esse número sobe para 76% (em inglês). Nessa etapa, os estudantes podem ter dificuldades para resolver porcentagens simples em situações do dia a dia, como calcular imposto sobre vendas ou adicionar gorjeta em uma conta de restaurante.
Para piorar, essas defasagens de aprendizagem não se distribuem de forma igual e afetam de forma desproporcional os alunos de comunidades historicamente com menos recursos.
O compromisso da Khan Academy com a aprendizagem em matemática
Ajudar mais estudantes a ter sucesso em matemática tem sido uma meta de longa data para nós na Khan Academy.
Desde os primeiros anos da nossa fundação, em 2008, oferecemos uma vasta biblioteca de conteúdos matemáticos com foco em domínio de habilidades, pensada para ajudar os alunos a preencher lacunas de conhecimento e desenvolver fundamentos sólidos.
Mais recentemente, em 2023, lançamos o Khanmigo, um tutor de IA criado para guiar os estudantes na resolução estruturada de problemas, oferecendo incentivo e motivação ao longo do caminho.
O potencial da IA na tutoria de matemática
A inteligência artificial (IA) tem um potencial imenso para concretizar aspectos reais e tangíveis da ciência da aprendizagem que nenhuma tecnologia anterior conseguiu oferecer.
A IA permite que os alunos recebam apoio personalizado e feedback em tempo real, enquanto estão aprendendo.
Ambos são elementos cruciais, segundo a ciência da aprendizagem. Antes do surgimento da IA, a única forma de proporcionar esses dois elementos simultaneamente era com a ajuda de um bom tutor humano.
Agora, a IA pode se aproximar do que um bom tutor humano faz — e acreditamos que isso ajudará milhões de estudantes a desbloquear mais do seu potencial.
Mas há um detalhe importante: a IA generativa não foi projetada para lidar com o raciocínio matemático. Na verdade, a IA generativa (genAI) foi desenvolvida com foco na linguagem.
Ela parece resolver problemas de matemática quando solicitada, mas faz isso de uma maneira que pode gerar imprecisões. Em vez de calcular uma resposta, a IA usa todo o conteúdo textual em que foi treinada para prever quais números têm mais probabilidade de aparecer em seguida em uma sequência.
O número mais provável nos dados de treinamento nem sempre é a resposta correta.
Como a Khan Academy está reduzindo a lacuna da IA em matemática
Embora a matemática não tenha feito parte do design original da IA generativa, isso não significa que seja impossível.
Na verdade, é perfeitamente possível — embora exija um esforço adicional de engenharia para garantir que a IA tenha acesso a ferramentas e informações complementares que permitam obter respostas corretas para problemas matemáticos e orientar os alunos de forma eficaz.
É aí que entra a Khan Academy — o mesmo conteúdo matemático com foco em domínio de habilidades, que há anos ajuda milhões de estudantes a terem sucesso em matemática, agora também serve como base para ajudar sistemas de IA a melhorarem sua performance em matemática.
Claro que isso é apenas um ponto de partida, mas representa um avanço enorme.
Aprimorando as capacidades matemáticas do Khanmigo
Como mantemos altos padrões para tudo o que produzimos — incluindo o Khanmigo, nosso tutor de IA — tomamos diversas medidas adicionais para garantir que as habilidades de cálculo e tutoria em matemática do Khanmigo superem as do modelo de linguagem de base (LLM) que o alimenta:
- Criamos uma calculadora para o Khanmigo, permitindo que ele resolva problemas numéricos sem depender apenas das capacidades preditivas da IA. [Leia mais no blog da Khan Academy.]
- Reestruturamos as respostas do Khanmigo para que ele imite mais de perto, a forma como um tutor humano interage com um estudante.
- Avaliamos continuamente diferentes modelos de linguagem (LLMs) para encontrar os mais adequados à tutoria em matemática. Recentemente, migramos o Khanmigo do GPT-4 Turbo para o GPT-4 Omni, o que resultou em um desempenho de tutoria superior.
- Melhoramos o raciocínio da IA durante as sessões de tutoria, instruindo o Khanmigo a elaborar internamente os diferentes caminhos que um aluno pode ter seguido para chegar à resposta. Isso permite que ele acompanhe com mais precisão o raciocínio do aluno, independentemente do método escolhido. Essa mudança melhorou significativamente a qualidade das interações matemáticas.
- Criamos um conjunto de dados de referência com conversas de tutoria matemática, o que nos ajudou a avaliar como os modelos de IA se comportam como tutores. Descobrimos, por exemplo, que o Khanmigo é melhor que o GPT-4o puro (modelo que alimenta o ChatGPT) em detectar e apontar erros. Também identificamos os erros mais comuns cometidos pelo Khanmigo e fizemos melhorias para corrigi-los.
- Realizamos uma análise manual de um grande conjunto de conversas do Khanmigo com alunos para verificar a precisão das respostas. Aprendemos que, quando o Khanmigo tem acesso a exercícios, passos, dicas e soluções gerados por humanos antes de resolver um problema, sua precisão melhora. Isso nos levou a atualizar a arquitetura do Khanmigo para que ele sempre colete esse contexto antes de responder ao aluno.
- Detectamos que o Khanmigo tinha dificuldade em interpretar elementos gráficos, o que nos levou a criar representações textuais de todos os gráficos, permitindo que ele “veja” o que o aluno está vendo por meio da descrição em texto.
- Aprimoramos a capacidade do Khanmigo de interpretar diferentes tipos de exercícios da Khan Academy. Embora ele já entendesse bem questões de múltipla escolha, tinha dificuldade com gráficos, retas numéricas e outros conteúdos visuais.
Analisamos os tipos de exercícios disponíveis e trabalhamos para preencher essas lacunas. Agora, o Khanmigo compreende praticamente todo o conteúdo de exercícios da Khan Academy e consegue orientar os alunos com eficácia.
- Desenvolvemos novas capacidades avançadas de matemática simbólica, o que melhorou a precisão do Khanmigo em áreas como geometria, cálculo e trigonometria.
- Por fim, criamos um novo painel de controle e métricas para monitorar a qualidade da tutoria do Khanmigo, o que nos permite acompanhar o impacto das atualizações nas taxas de erro matemático.
Olhando para o futuro: o que vem por aí para o Khanmigo
Como acontece com qualquer tecnologia inovadora, nosso trabalho está em constante evolução.
Monitoramos continuamente o desempenho do Khanmigo em cálculos matemáticos e tutoria, avaliamos regularmente os modelos de IA generativa disponíveis para garantir que estamos utilizando o melhor modelo possível para o propósito do Khanmigo e compartilhamos com frequência nossas descobertas com a comunidade educacional.
Embora ainda estejamos aprendendo junto com o Khanmigo, temos confiança nos avanços significativos que alcançamos em pouco tempo para fortalecer suas capacidades.
Como resultado desse trabalho, acreditamos que as habilidades do Khanmigo já são muito sólidas — e só tendem a se tornar ainda melhores com o tempo.
Estamos animados para continuar compartilhando essas atualizações com você, nosso leitor, à medida que essas capacidades evoluem.
Vamos em frente!
