Governança de IA em runtime avalia contexto, política e risco enquanto uma interação de IA ou ação de agente está acontecendo, permitindo à organização observar, permitir, bloquear, ocultar ou remover conteúdo sensível, ou exigir aprovação antes ou durante a execução.
Essa é uma definição operacional. As intervenções disponíveis dependem de um ponto de controle capaz de afetar a interação ou ação relevante. A avaliação pode produzir uma decisão sem comprovar que um executor a aplicou. O termo não promete todas as intervenções em todas as integrações.
O que torna uma decisão relevante em runtime
Uma decisão em runtime aplica uma política a uma solicitação específica com o contexto disponível durante o funcionamento do fluxo. A operação, o alvo, a identidade que atua e as condições da política determinam o que precisa ser estabelecido. Uma regra escrita antecipadamente ainda precisa de um ponto de aplicação no caminho de execução.
O contexto pode mudar sem que a regra mude. Uma aprovação pode deixar de valer quando o alvo é alterado, ou uma permissão pode depender de uma condição que já não é atendida. A implementação precisa definir como determinar se a decisão continua válida para a operação seguinte.
Avaliar e aplicar são responsabilidades diferentes
A avaliação determina um resultado conforme a política. Um controle efetivo conecta esse resultado ao que o executor pode fazer. A observação pode fornecer contexto para a decisão ou registrar atividade, mas registrar uma decisão não comprova, por si só, que a execução dependeu dela.
O Authorization Cheat Sheet da OWASP recomenda validar permissões a cada solicitação. Esse é um princípio de controle de acesso relevante para o tema, não uma definição ou arquitetura completa de governança de IA em runtime.
Especifique o que acontece quando falta contexto necessário, a avaliação falha ou uma aprovação permanece pendente. Um sistema que continua após uma falha de avaliação tem um limite de controle diferente daquele que retém a operação. Nenhum desses comportamentos deve ser deduzido do nome da categoria.
O que o termo não garante
Runtime não significa que uma intervenção pode desfazer um efeito anterior. Uma decisão de interromper uma etapa posterior não recupera informações já divulgadas. Da mesma forma, a permissão para tentar uma operação não comprova que ela teve sucesso; o resultado pode continuar desconhecido quando as evidências são insuficientes.
Conceitos relacionados
- A governança de agentes de IA define a autoridade, as políticas, os controles e as evidências que governam agentes de forma mais ampla.
- A governança pré-execução concentra-se em avaliar uma operação enquanto um controle ainda pode reter o efeito governado. Ela identifica um limite específico dentro da discussão mais ampla sobre runtime.
O pilar de governança de IA em runtime desenvolve os contratos de contexto, validade, aplicação, falha e evidência por trás dessas distinções.