Ir para o conteúdo

Ponto de vista

Human-in-the-Loop É um Controle, Não uma Estratégia Completa de Governança

Uma pessoa pode entender por que o trabalho é necessário sem ter evidências para aprovar como ele será realizado.

A revisão humana pode contribuir com julgamento, uma decisão de exceção ou uma autorização exigida pelo fluxo de trabalho. Seu valor depende da pergunta, da autoridade do revisor e das informações disponíveis. Um pedido para clicar em “continuar” não fornece evidências técnicas ausentes nem concede à pessoa direitos de decisão que ela não possui.

O programa de governança precisa estabelecer essas condições. A governança de agentes de IA define a delegação e as responsabilidades ao redor de uma operação; a aprovação humana pode cumprir um papel específico nesse arranjo. Sua presença no caminho de execução, por si só, não estabelece o arranjo completo.

Faça uma pergunta que o revisor possa responder

Considere um fluxo hipotético de conversão de documentos. O agente se prepara para usar um serviço, mas o fluxo ainda não estabeleceu a identidade ou a configuração do destino que receberá os documentos. Ele pergunta à pessoa que solicitou a conversão se deve continuar.

Nesse exemplo, o solicitante entende por que a conversão é necessária, mas não tem evidências sobre o serviço receptor. Nenhum documento foi enviado, e não se descreve uma integração real, um incidente ou um teste. A questão é o que uma confirmação dessa pessoa poderia estabelecer antes da transferência proposta.

O solicitante poderia esclarecer a necessidade de negócio ou identificar quais documentos fazem parte da tarefa. Essas respostas não certificam qual serviço os recebe. Se a pergunta pendente diz respeito à configuração do destino, ela precisa de evidências do componente ou da pessoa capaz de estabelecer essa configuração. Encaminhá-la ao solicitante não a transforma em uma pergunta de negócio.

Separe um pedido de informação de um pedido para exercer autoridade. A mesma pessoa pode fornecer ambos, mas o fluxo precisa estabelecer essa capacidade, sem deduzi-la apenas porque ela iniciou a tarefa. Quem não consegue responder deve poder manter a pergunta sem resolução ou encaminhá-la ao responsável apropriado, sem que sua incerteza se transforme em aprovação.

Diferencie uma decisão de exceção de um fato verificado

Uma organização pode definir condições em que um responsável autorizado aceita determinado risco. Essa decisão é diferente de verificar o fato que continua desconhecido. No exemplo de conversão, uma exceção aplicável poderia autorizar a continuidade sob uma incerteza especificada, caso a política permita; ela não estabeleceria a identidade do serviço nem comprovaria como ele trata os documentos.

Mantenha essa distinção na decisão e em seu registro. Explicite os fatos conhecidos, a incerteza restante, o escopo autorizado e as condições da exceção. Não transforme permissão para prosseguir em afirmação de que o destino foi verificado. No sentido inverso, identificar o serviço também não comprovaria, por si só, que o envio desses documentos a ele é permitido.

O AI RMF Playbook do NIST orienta diferenciar responsabilidades em configurações humano-IA e na supervisão, incluindo a distinção entre quem usa os sistemas e quem os supervisiona. Isso sustenta atribuir uma pergunta de revisão a um papel com mandato e recursos pertinentes. Não designa um aprovador para essa exceção hipotética. NIST AI RMF Playbook, GOVERN 3.2.

Mantenha o programa de governança ao redor da aprovação

O fluxo de conversão precisa de meios para identificar ferramentas e destinos, de uma política sobre quais materiais podem chegar a eles e de clareza sobre as identidades e permissões envolvidas. Essas funções estabelecem os fatos e a autoridade de que o revisor precisa. Um diálogo de confirmação não substitui o trabalho de disponibilizar essas informações.

Quando a política já permite uma classe delimitada de operações, controles implementados podem aplicar essas condições sem pedir a uma pessoa que recrie a política a cada solicitação. A revisão humana pode se concentrar em perguntas que exigem julgamento ou uma exceção autorizada. A OWASP recomenda aprovação para operações de maior impacto em aplicações baseadas em LLM, junto da limitação de permissões e da aplicação de autorização no destino. A aprovação é apresentada como um controle entre vários. OWASP Excessive Agency.

O fluxo também precisa de observação, de uma conexão efetiva entre decisão e execução e de evidências para revisão posterior. No exemplo, a equipe precisa determinar se a transferência aguarda quando uma aprovação aplicável é exigida e o que acontece se essa aprovação não puder ser obtida. Esses comportamentos dependem da implementação; nem uma pergunta exibida ao humano nem um evento de aprovação comprovam que a chamada ao destino foi restringida.

Pedidos recorrentes para aprovar um serviço não identificado devem levar ao exame de por que sua configuração continua desconhecida. Outra confirmação talvez não acrescente informação. O programa deve tratar a falta de um responsável ou de evidência, em vez de contar aprovações repetidas como resolução da pergunta original.

Preserve o significado da decisão quando o trabalho for retomado

Uma aprovação diz respeito à proposta e às condições consideradas pelo revisor. Se o destino ou os documentos mudarem antes da transferência, estabeleça se a decisão continua aplicável. O guia de governança pré-execução aprofunda essa conexão entre uma operação que pode ser revisada e o controle capaz de impedir seu efeito.

Preserve o que a pessoa realmente contribuiu. Confirmar que a conversão é necessária, verificar a configuração de um serviço e aceitar uma exceção definida são registros diferentes de raciocínio ou autoridade. Reduzi-los a um único status de aprovação torna a revisão posterior menos informativa.

O guia de trilha de auditoria de agentes de IA explica como conectar a evidência de decisão à tentativa e ao resultado disponíveis. Uma aprovação não prova que a transferência ocorreu, que o destino a aceitou ou que todas as condições declaradas foram aplicadas. Mantenha os resultados desconhecidos separados da permissão concedida.

Examine a contribuição humana para a decisão

Examine se a pessoa recebeu uma pergunta relevante, tinha as informações necessárias para respondê-la e possuía autoridade sobre a decisão solicitada. Avalie o que ocorre quando ela não consegue decidir: quem pode resolver a incerteza, se existe um caminho de exceção e como a operação permanece dentro da política enquanto a pergunta estiver aberta.

A contagem de aprovações não responde a essas perguntas. Mais confirmações não comprovam, por si só, decisões mais informadas ou controles mais fortes. Uma revisão útil examina se a decisão exigida foi tomada com base adequada e aplicada à operação pertinente, com evidências que preservem seus limites.

Quando a aprovação humana for exigida, uma avaliação do Kona for Agents deve tornar concretos o papel do revisor e o tratamento dessa decisão pela integração. A governança oferece à pessoa uma decisão que ela pode legitimamente tomar e a conecta à operação que essa decisão deve governar.