Ir para o conteúdo

Ponto de vista

Por que Evidência de Auditoria de Agentes de IA Precisa de Mais do que um Log de Prompt

Vários registros podem preservar um único relato. Rastreie o que cada fonte observou antes de tratar a concordância entre eles como confirmação de uma ação.

A evidência de auditoria de agentes de IA precisa permitir rastrear a origem de uma afirmação. Registrar a mesma mensagem de sucesso em vários pontos pode documentar sua entrega sem criar várias observações independentes de que uma ação teve sucesso. A quantidade de registros que concordam entre si não equivale à quantidade de fontes em posição de observar o efeito.

Neste artigo, log de prompt significa um registro de instruções ou de conversa fornecidas a um modelo. Sistemas podem manter solicitações de ferramentas, respostas e outros contextos de runtime no mesmo registro. Esses registros mais ricos podem ser evidências úteis de auditoria. A pergunta relevante é o que cada parte registra e como foi produzida, não se o conjunto recebe o nome de log de prompt, trace ou trilha de auditoria.

Identifique o que o registro pode estabelecer

Uma instrução registrada pode mostrar o que foi solicitado dentro do contexto capturado. Uma resposta registrada do modelo pode mostrar a proposta que ele retornou. Nenhuma das duas é, por si só, uma observação de que um executor tentou a operação ou de que o destino mudou. A definição de tool call distingue uma solicitação proposta da invocação e do efeito.

Acrescentar uma resposta de ferramenta fornece outra informação, mas seu significado ainda depende de quem a produziu. O executor informou uma gravação concluída, uma fila aceitou trabalho para processamento posterior ou outro componente repetiu um resultado que recebeu? A palavra “sucesso” não responde a essas perguntas sem o contrato da fonte e as evidências relevantes.

Isso não torna um relato de execução irrelevante. Ele pode estabelecer o que o executor informou e ajudar a conectar uma tentativa a observações posteriores. O erro é ampliar o significado desse relato à medida que ele percorre o caminho de coleta e processamento das evidências, sem acrescentar uma fonte que tenha observado o fato adicional.

Rastreie uma mensagem de sucesso até quem a produziu

A nota controlada sobre a ação do agente registra uma operação sintética de arquivo em laboratório local. Considere seu caso de entrega case-02. O processo executor (worker) registrou o retorno da gravação e emitiu um resultado com status created. O coletor codificou o payload desse resultado em worker-return.raw.json. A etapa do adaptador registrou a coleta e a entrega, e a etapa do componente chamador (caller) registrou o recebimento.

Os arquivos armazenados worker-return.raw.json e caller-message.raw.json são idênticos byte a byte. A mesma relação aparece nos casos de entrega 05 e 08. O arquivo de retorno contém o payload extraído do resultado, não o fluxo completo de eventos do worker. Essas distinções podem ser conferidas nos registros originais e no código congelado do coletor fornecidos com a nota.

O adaptador e o caller não obtiveram novas observações do arquivo ao copiar esse payload. Seus registros preservam como o resultado passou pelas etapas instrumentadas de um único orquestrador. São úteis para responder se o caller local recebeu o resultado coletado. Não transformam a declaração do worker em múltiplas confirmações independentes do estado no destino.

Esse fluxo de laboratório terminou no caller local. Nenhum resultado de ferramenta foi devolvido ao modelo, e o experimento não examinou a interpretação da mensagem por um modelo. Os arquivos demonstram o caminho de entrega registrado, não um ciclo completo de agente empresarial ou uma integração KonaSense.

Identifique quais bytes entram em cada hash

Os registros contêm hashes com propósitos diferentes. No resultado do worker, input_content_sha256 foi calculado a partir do texto proposto codificado em UTF-8. O worker relatou sua operação de gravação, mas esse digest não foi calculado reabrindo e lendo o arquivo resultante. Preservar o digest mantém essa distinção; não muda a origem de sua entrada.

Os eventos do adaptador e do caller referenciam message_sha256, calculado sobre o payload codificado do resultado. Esse valor identifica a mensagem coletada ou entregue. Não descreve outra leitura do arquivo, mesmo que a mensagem contenha uma afirmação sobre a gravação e um digest do conteúdo proposto.

O verificador separado registrou content_sha256 sobre os bytes que de fato leu do destino nomeado. Em case-02, os bytes de conteúdo observados correspondiam ao conteúdo proposto. O valor dessa comparação vem de saber como as duas entradas foram obtidas. Contar aparições repetidas de um digest igual perderia a distinção entre calcular o hash de uma entrada, de um relato sobre ela e de uma leitura no destino.

O pacote original mantém esses registros e seus produtores distinguíveis. Um resumo posterior que os reduzisse a um único campo “hash verificado” descartaria a explicação de que o revisor precisa: verificado contra quais bytes, produzidos por quem e em qual etapa?

Acrescente uma observação sem exagerar sua independência

O verificador acrescenta evidência porque lê o destino por uma operação diferente da gravação e do retorno do worker. Ele foi executado como um processo separado, com acesso somente de leitura. Recebeu o destino e a duração de observação solicitada, não a proposta, o conteúdo esperado, o retorno do worker ou o estado do caller. A comparação com os bytes propostos foi feita depois da coleta.

Essa é uma separação dentro de um laboratório controlado, não uma validação por outra organização. O verificador coletou duas amostras do arquivo em cada janela de observação. A concordância entre suas leituras não comprova persistência contínua, causalidade exclusiva do worker ou comportamento fora do destino e do período amostrados. A nota preserva as relações entre os casos, o método e as limitações necessários para interpretar essas observações.

A mesma pergunta analítica se aplica a outro sistema sem exigir essa organização exata de processos. Um registro pode acrescentar evidência se seu produtor estiver em posição de observar o fato em revisão. Mover um relato para outro serviço ou sistema de armazenamento não cria, por si só, essa observação. Por outro lado, registros mantidos juntos ainda podem preservar diferenças relevantes de origem e método.

A independência precisa, portanto, ser descrita em relação à afirmação específica. Uma leitura no destino pode acrescentar informação além de um retorno encaminhado e ainda compartilhar o mesmo laboratório, host ou coletor. Não deve ser apresentada como garantia independente sobre todos os aspectos do sistema apenas porque tem outro nome de processo.

Faça a conclusão seguir as evidências

Comece pela afirmação que a revisão precisa sustentar e rastreie cada registro relevante até quem o produziu. Para uma pergunta sobre entrega, a mensagem coletada e o recebimento pelo caller podem ser as evidências pertinentes. Para uma pergunta sobre o estado no destino, o revisor precisa de uma observação em posição de estabelecer esse estado. Para uma pergunta causal, a relação com a tentativa específica também importa.

Se o registro disponível preserva apenas um relato de sucesso entregue, descreva esse achado com precisão. Não o transforme implicitamente em um efeito verificado no destino. Se o registro inclui uma observação utilizável do destino, preserve seu método e escopo em vez de reduzi-la a outro indicador de sucesso. Isso mantém o que a evidência acrescenta e deixa visível a incerteza que permanece.

O guia de trilha de auditoria de agentes de IA explica os requisitos mais amplos de registros, integridade e acesso. Este exemplo acrescenta um hábito específico de revisão: acompanhar a origem de uma afirmação antes de contar suas repetições como corroboração. Um registro de conversa pode participar dessa trilha, mas repetir seu conteúdo em mais lugares não fornece uma observação que nenhum desses produtores realizou.