Governança de agentes de IA é o conjunto de políticas, controles, aprovações e mecanismos de evidência usados para determinar o que agentes de IA podem acessar, quais ferramentas podem invocar e quais ações podem executar.
O objeto da governança é a autoridade delegada: os acessos e as ações confiados a um software para uma tarefa específica. Essa delegação precisa de limites, mesmo quando o agente pode escolher seus próprios passos intermediários.
Por que importa
As funções disponíveis em uma ferramenta podem exceder a autoridade prevista para uma tarefa. Um agente pode conseguir solicitar uma mudança que a organização nunca o autorizou a fazer. A governança conecta a finalidade atribuída às permissões e decisões que restringem suas operações.
A orientação da OWASP sobre Excessive Agency recomenda limitar as funções e permissões das ferramentas, com autorização aplicada nos sistemas de destino. A recomendação de um modelo sobre o que fazer não substitui essa autorização.
Como os elementos se diferenciam
Permissões estabelecem limites de acesso para uma identidade ou ferramenta. Elas ajudam a delimitar o que o fluxo pode alcançar, mas uma permissão ampla não comprova que todo uso dela corresponde à finalidade aprovada da tarefa.
Decisões de política resultam da avaliação de uma solicitação conforme as regras e o contexto aplicáveis. Elas podem permitir, negar ou exigir aprovação. Quando houver revisão humana, a aprovação deve valer para a operação em análise e vir de alguém autorizado para aquele escopo.
Controles fazem essas decisões produzirem efeito. Um controle preventivo precisa ser capaz de restringir a operação relevante antes que ela aconteça. O resultado depende da integração real, inclusive de como o executor trata a ausência de uma decisão ou uma falha na avaliação.
Evidências ajudam a revisar o que foi solicitado, decidido e observado na execução. Esses registros respondem a perguntas diferentes. Uma permissão registrada não comprova que a operação foi concluída, e um registro de negativa, sozinho, não prova que o executor a interrompeu.
O que o termo não garante
A governança de agentes não exige que uma pessoa aprove cada ação. A política pode permitir uma classe delimitada de operações e reservar as exceções para revisão. O rótulo também não comprova que um controle cobre todos os agentes, ferramentas ou caminhos de execução. Essa cobertura precisa ser verificada no sistema governado.
Conceitos relacionados
- A governança de IA abrange as decisões organizacionais mais amplas sobre desenvolver, implantar e usar IA, incluindo a adequação dos modelos e a prestação de contas.
- A observabilidade de agentes fornece informações sobre a atividade dos agentes. Seus registros podem apoiar a governança; a existência desses registros não comprova um controle efetivo da execução.
- Um plano de controle de IA coordena a configuração de políticas e as decisões; sua conexão com os mecanismos de aplicação precisa estar explícita.
O pilar de governança de agentes de IA explica como aplicar essas distinções às ferramentas, às aprovações, ao caminho de execução e às evidências de um fluxo.