Por Kristen DiCerbo, Ph.D., Diretora de Aprendizagem da Khan Academy.
Com o lançamento do Khanmigo, nosso tutor com tecnologia de IA para alunos e assistente para professores, quisemos explorar o potencial da inteligência artificial na criação de planos de aula de alta qualidade.
No entanto, logo percebemos que, embora a IA possa gerar grandes quantidades de informação, elaborar planos de aula eficazes exige mais do que simplesmente reproduzir fatos.
É necessário um entendimento profundo de princípios pedagógicos, dos padrões curriculares e das necessidades diversas dos alunos.
Essa constatação nos levou a mergulhar na arte e na ciência da engenharia de prompts — o processo de criar instruções precisas que orientam as respostas da IA.
Por meio de experimentação cuidadosa e refinamento, desenvolvemos uma abordagem única de engenharia de prompts que permite ao Khanmigo produzir planos de aula não apenas informativos, mas também envolventes, diferenciados e alinhados com as melhores práticas.
Neste post do blog, vou mostrar os bastidores do nosso processo de engenharia de prompts, compartilhando as etapas envolvidas na criação de instruções eficazes que capturam a essência de um ensino de qualidade.
Também vou dividir alguns dos desafios que enfrentamos e as estratégias que desenvolvemos para superá-los.
Primeiras tentativas
Todas as atividades que utilizam o Khanmigo na Khan Academy são criadas por meio de prompts — instruções escritas que dizem ao modelo de linguagem como agir. Um dos primeiros prompts para planejamento de aula era assim:
______________________________________________________________________________________________________________
Você é um educador experiente em matemática e ciências, com amplo conhecimento tanto na área de conteúdo quanto nos princípios pedagógicos.
Eu sou professor(a) e preciso da sua ajuda para criar uma aula muito envolvente para meus alunos.
Você deve sempre me perguntar sobre meus objetivos e preferências, um de cada vez, incluindo o seguinte:
- A disciplina e o nível/série que ensino
- O tema ou habilidade específica (Se mencionar uma habilidade do currículo, e garanta que está completamente correto, citando o descritivo completo quando necessário.)
- Quais aulas anteriores meus alunos já tiveram sobre o tema
- Quanto tempo tenho disponível para a aula (Faça suas recomendações levando essa limitação em consideração.)
- Estilo da atividade (atividades práticas, prática guiada, discussão ou uma combinação)
- Estilo de trabalho dos alunos (independente, colaborativo ou uma combinação)
- Conexões com a cultura pop, história ou qualquer outro tema atual que entusiasme meus alunos
Após discutir esses tópicos, você deve sempre produzir uma aula de matemática que seja:
- Fortemente adaptada às minhas preferências
- Voltada não apenas para fluência procedimental, mas também para compreensão conceitual profunda e aplicações práticas
- Rigorosa academicamente, incluindo pelo menos cinco problemas reais
- Envolvente para os alunos, com exemplos relevantes do mundo real e oportunidades para escolhas dos estudantes
- Capaz de fornecer todos os exemplos de problemas mencionados e suas respectivas respostas
A estrutura da aula deve incluir:
- Um objetivo claro
- Uma atividade de abertura ou gancho empolgante, ligada à vida real, que explore o “como” e o “porquê” do conteúdo
- Uma introdução ao conteúdo
- Uma prática guiada (incluir pelo menos um problema com solução passo a passo que destaque a compreensão conceitual profunda)
- Prática independente e/ou colaborativa: diversos problemas reais, ajustando a quantidade conforme minha preferência
- Uma sugestão de atividade investigativa prática e alinhada ao tema
- Links: pelo menos dois links para recursos da Khan Academy relacionados ao conteúdo da aula
- Vocabulário-chave (com definições completas)
- Respostas para todos os problemas apresentados na aula
______________________________________________________________________________________________________________
À primeira vista, não estava ruim. O modelo gerava algo que parecia ser um plano de aula decente — pelo menos superficialmente.
No entanto, ao analisarmos com mais atenção, identificamos alguns problemas, como:
- Os objetivos da aula apenas repetiam o que dizia a habilidade do currículo;
- As atividades de aquecimento nem sempre cobriam as habilidades prévias mais lógicas;
- Os gabaritos da prática independente continham erros;
- As seções do plano tinham formatos e extensões imprevisíveis;
- O modelo, às vezes, ignorava partes importantes das instruções do prompt.
Hora de revisar e melhorar
Começamos a buscar melhorias nesse resultado. Precisávamos de uma forma de avaliar se as alterações feitas estavam realmente aprimorando o plano de aula.
Também precisávamos chegar a um consenso sobre o que seria considerado um “bom” plano.
Decidimos, então, usar as mesmas rubricas (critérios) que são aplicadas para avaliar professores em sala de aula.
Quando os planos de aula gerados pelos prompts iniciais foram avaliados com essas rubricas, eles não se saíram bem.
Frequentemente eram classificados como “inaceitáveis” em todas as dimensões ou, no máximo, alcançavam o nível “em desenvolvimento” em uma ou duas.
No fim das contas, embora esses planos de aula parecessem prontos, os professores ainda precisam fazer grande parte do trabalho se quisessem realmente aplicá-los.
Dois problemas principais surgiram durante os testes:
- Faltavam informações para o Khanmigo. Havia muitos detalhes indefinidos para que o Khanmigo pudesse inferir e sintetizar, como os padrões curriculares estaduais, o ano escolar-alvo e os pré-requisitos.
Além disso, havia limitações no conhecimento específico da área por parte do modelo. Isso resultava em planos de aula vagos e/ou imprecisos, que ofereciam pouco valor prático aos professores. - Tentávamos fazer demais com um único prompt. Quanto mais longo e detalhado era o prompt, maior a chance de que partes dele fossem ignoradas.
Tentar gerar um plano de aula completo e com nuances a partir de um único prompt acabava resultando em documentos com seções negligenciadas, confusas ou completamente ausentes.
Para lidar com esses problemas, fizemos duas mudanças fundamentais na nossa abordagem:
- Integramos o planejamento de aulas ao conteúdo da Khan Academy. Ao selecionar um conteúdo específico como base para o plano de aula, conseguimos fornecer ao Khanmigo informações mais ricas e úteis, incluindo metadados como alinhamento com padrões curriculares, lições prévias relacionadas e o conteúdo real da página (como textos de artigos, transcrições de vídeos e exercícios explicados por especialistas).
- Dividimos o prompt em seções separadas que podem ser encadeadas. Ao criar prompts mais detalhados para cada parte do plano de aula, conseguimos atualizar uma seção sem prejudicar o desempenho do Khanmigo nas outras. Isso também permitiu melhorar a precisão e a consistência do resultado final.
Depois que fizemos essas mudanças, ficou mais fácil realizar melhorias incrementais nos planos de aula gerados pelo Khanmigo.
Pudemos ajustar cada prompt individual para cumprir uma função bem específica e validar nosso progresso continuando a testar com a mesma rubrica de avaliação.
Veja um exemplo da seção de Objetivo de Aprendizagem de um plano de aula, antes e depois desse processo iterativo:
Antes:
Objetivo: Ao final desta aula, os alunos serão capazes de calcular a taxa média de variação de polinômios e compreender suas aplicações no mundo real.
Depois:
Objetivo de aprendizagem: Os alunos calcularam a taxa média de variação de funções polinomiais, especificamente funções cúbicas e quadráticas, em intervalos determinados. Eles também interpretarão a taxa média de variação a partir de um gráfico.
Objetivo voltado para o aluno: Ao final desta aula, serei capaz de encontrar a taxa média de variação de uma função polinomial em um intervalo dado e entender o que isso significa em um gráfico.
Habilidades do currículo
Se avaliarmos esses dois objetivos com base na rubrica, podemos perceber alguns dos avanços que fizemos:
- O objetivo “antes” é aproximadamente adequado ao tema solicitado, mas não apresenta a especificidade necessária para definir completamente a tarefa que os alunos precisam aprender, nem vincula o tema a padrões específicos.
Além disso, expressões como “será capaz de [compreender]” não são facilmente observáveis ou mensuráveis — um critério exigido pela rubrica. - O objetivo “depois” é muito mais preciso. Ele faz referência ao padrão solicitado e acrescenta especificidade ao esclarecer “funções cúbicas e quadráticas”.
Usa linguagem ativa (“calcular” e “interpretar”), que é mais fácil de observar e medir. Também define o objetivo de forma que possa ser claramente compreendida pelos alunos. - O objetivo “antes” poderia ser avaliado (com generosidade) como estando na faixa inferior de “em desenvolvimento”. Já o objetivo “depois” poderia ser classificado como “exemplar”.
Melhoria contínua
Com esta última atualização, o Khanmigo se tornou um parceiro muito mais capaz no planejamento de aulas, mas sabemos que ainda há trabalho a ser feito.
Atualmente, o Khanmigo costuma atingir pontuações na faixa de “em desenvolvimento” a “proficiente” na rubrica de avaliação.
Acreditamos que isso já é suficiente para atuar como um parceiro para os professores, mas continuaremos aprimorando com base no feedback docente.
Por exemplo, estamos trabalhando para incluir mais ênfase em possíveis conceções equivocadas dos alunos ao longo do plano de aula.
Descobrimos que a engenharia de prompts é uma arte e uma ciência. Ter orientações claras em forma de rubrica sobre como deve ser o resultado nos ajuda a avaliar nosso progresso.
E estamos ansiosos para ouvir os professores que estão experimentando a ferramenta, para que possamos continuar melhorando.
