Em março de 2023, lançamos o Khanmigo, uma ferramenta revolucionária de aprendizagem com inteligência artificial, criada para apoiar alunos e educadores.
Na mesma ocasião, também compartilhamos nossa abordagem inicial para o desenvolvimento responsável da IA — um conjunto de diretrizes que nos ajudou a adaptar a IA de forma consciente para o ambiente escolar.
Temos orgulho de que nosso trabalho foi reconhecido pela avaliação independente Common Sense AI Ratings (em ingles). Desde então, aprimoramos ainda mais nossas diretrizes e processos de apoio, e hoje estamos animados em compartilhar uma atualização.
Abordagem da Khan Academy para uma IA Responsável
Como ponto de partida, nossa equipe adotou os nove princípios fundamentais do Referencial Ético para IA na Educação (em inglês), desenvolvido pelo The Institute for Ethical AI in Education, com algumas pequenas edições para tornar os conceitos mais claros e alinhados ao nosso propósito específico. Esses princípios formam uma base sólida, conforme listamos a seguir:
- Alcançar Objetivos Educacionais – A IA deve promover objetivos educacionais bem definidos, baseados em evidências sociais, educacionais ou científicas que beneficiem os alunos.
- Formas de Avaliação – A IA deve ampliar o escopo de habilidades e talentos dos alunos que são avaliados e reconhecidos.
- Carga de Trabalho e Administração – Para ferramentas voltadas aos educadores, a IA deve melhorar a eficiência institucional, preservando as relações humanas.
- Equidade – Os sistemas de IA devem promover a equidade e evitar discriminação entre diferentes grupos de alunos.
- Autonomia do Aluno – A IA deve capacitar os alunos a terem mais controle sobre sua aprendizagem e desenvolvimento.
- Privacidade – Deve-se buscar um equilíbrio entre a privacidade e o uso legítimo de dados para alcançar objetivos educacionais bem definidos e desejáveis.
- Transparência e Prestação de contas – Os seres humanos são, em última instância, responsáveis pelos resultados educacionais e devem supervisionar de forma eficaz as operações da IA.
- Participação Informada – Alunos, educadores e profissionais devem compreender as implicações da IA para tomar decisões conscientes.
- Design Ético – As ferramentas de IA devem ser desenvolvidas por pessoas que compreendam seu impacto na educação.
Esses princípios são um ótimo ponto de partida, mas não nos dizem o que devemos fazer com eles enquanto desenvolvedores de ferramentas de IA.
O que isso significa
Descobrimos que o Artificial Intelligence Risk Management Framework (Marco de Gestão de Riscos em Inteligência Artificial), publicado pelo National Institute of Standards and Technology (Instituto Nacional de Padrões e Tecnologia), nos ajudou a pensar sobre como avaliar e gerenciar riscos potenciais da IA.
Por isso, combinamos os dois em uma única estrutura, apresentada abaixo.
Hoje, temos o prazer de compartilhar nosso Marco de IA Responsável, seus princípios fundamentais e como o integramos aos nossos processos de desenvolvimento de produto para criar experiências de aprendizagem significativas, seguras e éticas.
Aprimorando a Estrutura
O Institute for Ethical AI in Education desenvolveu um conjunto de critérios e uma lista de verificação de aquisição para cada um dos princípios de IA.
Nós adaptamos esses critérios para criar diretrizes de desenvolvimento de produto que esclarecem ainda mais como aplicar os princípios ao nosso trabalho.
Por exemplo, para o princípio Alcançar Objetivos Educacionais, temos o seguinte:
Princípio 1: Alcançar Objetivos Educacionais
1.1 Há um objetivo educacional claro que pode ser alcançado por meio do uso de IA, e a IA é capaz de atingir os objetivos e impactos desejados.
1.2 Existe um plano de monitoramento e avaliação para determinar o impacto esperado com o uso da IA e verificar se ela está atuando conforme o previsto.
1.3 Temos meios de avaliar a confiabilidade da IA, e, nas áreas em que ela não for confiável, existe um plano de ação para melhorar o design da IA, sua implementação e/ou outros fatores relacionados.
1.4 Há mecanismos estabelecidos para prevenir usos não educacionais da IA.
De forma semelhante, desenvolvemos diretrizes para cada um dos outros oito princípios. Você pode consultar todas as diretrizes (em inglês) associadas aos princípios.
Aplicando a Estrutura ao Desenvolvimento de Funcionalidades
Ao considerar uma funcionalidade baseada em IA, podemos usar esta estrutura para identificar riscos e, em seguida, seguir um processo de classificação e mitigação desses riscos.
Para cada risco identificado, avaliamos a probabilidade (baixa, média ou alta) e o impacto do risco (baixo, médio ou alto). Vale destacar que essas são definições internas de risco; o que consideramos como “alto risco” ainda é relativamente baixo quando comparado aos riscos mencionados em sistemas regulatórios.
Por exemplo, quando lançamos o Khanmigo inicialmente, revisamos cada diretriz e identificamos riscos potenciais.
Para a diretriz 1.4 — “Existem mecanismos para prevenir usos não educacionais da IA” — identificamos um risco de segurança relacionado a usos impróprios ou prejudiciais.
Classificamos esse risco como alto tanto em probabilidade quanto em impacto, caso não fosse tratado.
Embora não tivéssemos evidências diretas para sustentar essas classificações, estávamos lançando uma ferramenta inovadora: um tutor com o qual os alunos poderiam conversar usando um modelo de IA generativa.
Ainda assim, usamos nossa experiência em fóruns de discussão e o conhecimento das nossas equipes de suporte à comunidade em ambientes online para estimar esse risco.
Exemplo da funcionalidade da Estrutura
Assim, passamos a ter uma planilha com diversas linhas semelhantes a esta, registrando os riscos identificados e as ações correspondentes:
| Princípio | Diretriz | Risco | Probabilidade | Impacto |
|---|---|---|---|---|
| 1. Alcançar Objetivos Educacionais | 1.4 Existem mecanismos para prevenir usos não educacionais da IA. | Risco à segurança – usos impróprios ou nocivos | Alta | Alto |
Em seguida, utilizamos as classificações de probabilidade e impacto para identificar os riscos com alta chance de ocorrência e grande impacto. Para cada um deles, definimos e implementamos estratégias de mitigação para reduzir o risco.
| Diretriz de segurança | Risco | Probabilidade | Impacto | Mitigações |
| 1.4 Existem mecanismos para evitar usos não educacionais da IA. | Risco à segurança – usos impróprios ou prejudiciais | Alta | Alto | API de moderação (em inglês) para identificar respostas que possam ser impróprias, prejudiciais ou inseguras. A IA responde adequadamente a conversas sinalizadas e direciona os usuários à seção de padrões da comunidade. Quando o sistema de moderação é acionado, ele envia automaticamente um e-mail e uma notificação a um adulto vinculado à conta da criança. A equipe de Suporte à Comunidade participa da criação e manutenção dos protocolos de moderação. Desativação da conta (se necessário) quando uma mensagem é sinalizada. Transcrições de chats podem ser visualizadas por professores e responsáveis. Realização de “Red-teaming”, onde se tenta deliberadamente “quebrar” ou encontrar falhas na IA para identificar vulnerabilidades e fortalecer o sistema a longo prazo. Os Termos de Serviço e mensagens na plataforma deixam claro que ela é voltada ao uso educacional; é uma violação tentar burlar ou induzir o bot a conversas não educacionais. |
No nosso lançamento em março de 2023, nossa melhor estimativa era de que as medidas de mitigação seriam suficientes para reduzir a probabilidade e o impacto de problemas de segurança para um nível médio. Isso se confirmou.
A maioria dos usos inadequados podem ser classificados como crianças testando os limites do sistema. Quando elas encontram os alertas e a conversa é encerrada, geralmente seguem em frente rapidamente.
Continuamos utilizando nossa estrutura de IA responsável na educação para identificar riscos em novos recursos, como as ferramentas para professores e o Writing Coach.
A estrutura nos ajuda a determinar se uma funcionalidade apresenta algum risco relacionado às diretrizes de segurança e a classificá-lo, o que permite focar nossa atenção nas áreas com maior risco.
Implementando a Estrutura de Forma Consistente
Uma estrutura é significativa apenas quando aplicada de forma consistente. Na Khan Academy, integramos a IA Responsável em nosso processo de desenvolvimento de produtos por meio de:
1. Grupo de Direção de IA Responsável
Uma equipe de liderança que representa Produto, Dados e Pesquisa de Usuário facilita o alinhamento estratégico e a supervisão.
2. Grupo de Trabalho Estendido de IA Responsável
Uma equipe multifuncional avalia as próximas capacidades em relação à estrutura e monitora os recursos lançados.
3. Integração no Design de Produto
Avaliamos os recursos durante a fase de design para alinhá-los à nossa Estrutura de IA Responsável, além de uma avaliação contínua dos recursos (à medida que evoluem) por meio de demonstrações e outros ciclos de feedback.
4. Comunicação e Avaliação Contínuas
Coleta de insights qualitativos e quantitativos, acompanhamento de tendências do setor e interação com partes interessadas (internas e externas) para aprimorar nossa abordagem.
Olhando para o Futuro
À medida que a IA continua a evoluir rapidamente, mantemos nosso compromisso firme de aproveitá-la de forma responsável.
Acreditamos que, ao defender esses princípios, podemos aproveitar a IA para melhorar o aprendizado dos alunos e capacitar alunos e professores em todo o mundo.
Estamos ansiosos para ouvir como sua organização está implementando a IA de forma responsável.
Vamos em frente!
