A segurança de IA empresarial protege os dados, as identidades, as aplicações e os sistemas que o uso de IA expõe na operação da organização. Ela conecta cada caminho de uso a controles, evidências e um responsável capaz de agir sobre o recurso afetado.
Esta definição operacional se concentra no uso empresarial por pessoas e agentes. A avaliação de segurança acompanha o que pode ser lido, divulgado, alterado ou interrompido à medida que o trabalho passa por aplicações e sistemas. A governança de IA estabelece as responsabilidades mais amplas e as finalidades permitidas; a segurança examina a proteção dos recursos envolvidos e a capacidade de resposta da organização.
Mapeie a superfície de ataque de IA empresarial por caminho de uso
Considere uma iniciativa hipotética de atualização da documentação interna de suporte. Os funcionários usam uma aplicação de IA aprovada para ajudar a redigir artigos. Um auxiliar de navegador tem permissão para ler determinadas páginas de trabalho e enviar conteúdo por outro serviço. Um agente usa uma identidade de serviço para atualizar rascunhos em uma base de conhecimento interna.
Essas são condições específicas do exemplo, não afirmações sobre toda extensão de navegador, um incidente observado ou uma integração da KonaSense. A avaliação da aplicação aprovada não estabelece as permissões do auxiliar, o destino de suas transmissões ou a autoridade do agente na base de conhecimento. Uma finalidade de negócio comum não torna os três caminhos equivalentes.
| Caminho na iniciativa hipotética | Recurso exposto | Responsabilidade pelo controle a atribuir | Evidência a solicitar |
|---|---|---|---|
| Funcionário usa a aplicação aprovada | Material enviado e rascunhos retornados | Responsável pela aplicação junto ao responsável pelos dados | Condições aprovadas de tratamento e caminho real de envio e compartilhamento |
| Auxiliar de navegador lê páginas de trabalho | Conteúdo de páginas acessível pelas permissões concedidas | Administrador do navegador ou endpoint junto aos responsáveis pelos dados de origem | Configuração instalada, acesso permitido, destino e atividade observada, quando disponível |
| Agente atualiza a base de conhecimento | Conteúdo, permissões de escrita e registros afetados | Responsável pelo fluxo junto aos responsáveis pelo destino e pela identidade de serviço | Permissões efetivas, escopo aplicável da tarefa e registros das tentativas de mudança e das mudanças observadas |
Este é um mapa de responsabilidades para o exemplo, não um inventário completo ou uma pontuação de cobertura. Uma pessoa pode exercer vários papéis, mas cada decisão precisa de um responsável identificado. Um recurso fora do caminho de observação disponível continua sendo uma questão a investigar ou controlar, mesmo quando outra parte da iniciativa já está bem compreendida.
Torne o uso humano de IA passível de revisão no contexto de trabalho
Para os funcionários, o limite relevante pode estar na cópia de texto, no envio de um documento, no compartilhamento de uma conversa ou na transferência de material gerado para outro sistema. Avalie a configuração real da aplicação e o fluxo de trabalho. Uma conta aprovada não esclarece se determinado documento, destinatário externo ou recurso opcional do cliente estava incluído na aprovação.
Ofereça aos usuários um caminho permitido que consigam reconhecer: qual aplicação e conta usar, que material ela pode receber e para onde encaminhar dúvidas ou exceções. O responsável pela aplicação precisa de um meio de revisar mudanças nesse caminho, como um recurso de compartilhamento recém-habilitado ou um cliente diferente. O pilar de governança do uso de IA aprofunda essas decisões de tratamento; o programa de segurança precisa conectá-las aos controles realmente disponíveis em cada limite.
Investigue Shadow AI e sinais de uso ainda não esclarecidos
Um destino desconhecido ou um auxiliar ainda não revisado deve motivar uma apuração delimitada: o que está instalado, a que pode ter acesso, quem o usa e para qual tarefa? No exemplo da documentação, saber que a aplicação aprovada está em uso não estabelece se o caminho separado do auxiliar foi avaliado. Da mesma forma, encontrar o auxiliar não prova que conteúdo sensível foi transmitido.
Mantenha o estado desconhecido separado de uso não aprovado confirmado ou de exposição confirmada. Atribua a alguém a tarefa de resolver a incerteza por meio de inventário e evidências de atividade obtidos de forma autorizada. Um evento ausente pode refletir falta de coleta, assim como falta de atividade. O pilar de Shadow AI explica como transformar sinais incompletos em uma decisão de uso que possa ser revisada, sem tratar toda condição desconhecida como incidente.
Acompanhe os dados sensíveis além do campo de prompt
Identifique que conteúdo o fluxo pode encontrar e onde cópias podem permanecer. Neste exemplo, páginas de origem, material enviado, rascunhos gerados, respostas de serviços e extratos de investigação podem exigir tratamentos diferentes. Um controle aplicado ao texto inserido em uma aplicação não estabelece proteção para um auxiliar separado que lê a página ou para um agente que busca dados diretamente.
O responsável pelos dados deve definir a finalidade e os destinatários permitidos; o responsável por cada ponto de processamento ou armazenamento deve estabelecer como essas condições são aplicadas. Revise acesso, retenção e referências ao conteúdo de origem quando pertinente. Evite coletar prompts completos apenas para demonstrar visibilidade quando um registro mais restrito puder responder à pergunta de segurança.
O AI RMF Playbook do NIST recomenda conectar a governança de IA aos controles organizacionais existentes e alinhá-la à governança de dados, incluindo dados sensíveis. Esse é um princípio útil de integração, não uma certificação de produto ou uma arquitetura prescrita para esses caminhos. NIST AI RMF Playbook, Govern 1.2.
Separe a tarefa de um agente da autoridade disponível
O agente da base de conhecimento tem um resultado solicitado e uma identidade por meio da qual atua. A tarefa pode permitir a atualização de rascunhos enquanto a credencial autoriza mudanças em material publicado. Os responsáveis pelo fluxo e pelo destino precisam determinar se essa diferença é aceitável e onde ela pode ser restringida. Descrever uma tarefa em linguagem natural não reduz as permissões efetivas da credencial.
A segurança também precisa considerar o material que pode influenciar o agente, incluindo documentos recuperados e respostas de ferramentas. Uma instrução suspeita, uma mudança proposta e uma escrita concluída estabelecem fatos diferentes. O pilar de segurança de agentes de IA aprofunda esse modelo de ameaça. No âmbito empresarial, o encaminhamento necessário é para as pessoas que controlam a origem, o runtime, a credencial e o destino afetado.
Inclua o ambiente de execução dos agentes de código
Agentes de código acrescentam à avaliação um ambiente de desenvolvimento: repositórios, processos, scripts de pacotes, arquivos locais e serviços remotos permitidos. Uma revisão de código pode avaliar um patch proposto sem estabelecer o que os processos anteriores do agente acessaram ou alteraram. Identifique o ambiente e a identidade de execução, além do responsável pelo repositório.
Se uma equipe introduzir um agente de código para manter o fluxo de documentação, a segurança deve revisar o workspace, o runner, as credenciais e as permissões de publicação realmente concedidos àquela tarefa. Essas são condições adicionais a estabelecer, não propriedades deduzidas do nome do agente. A governança de agentes de código explica a revisão dessa delegação e do ambiente sem presumir que todo runner ou editor tenha a mesma autoridade.
Avalie ferramentas e ações no recurso afetado
O nome de uma ferramenta descreve uma interface, não o conjunto completo de recursos que sua implementação pode alcançar. Identifique qual serviço executa a solicitação, qual conta usa, que argumentos selecionam o destino e quais mudanças o destino pode aceitar. Uma ferramenta que prepara um rascunho e outra que o publica podem exigir autorizações diferentes, mesmo quando aparecem no mesmo fluxo.
Mantenha os controles do destino no projeto. A política no cliente, a aprovação humana e a autorização do serviço têm responsabilidades diferentes; uma resposta do cliente não cria uma permissão que o destino não concedeu. Quando a ferramenta delega trabalho adicional, estabeleça como o escopo permitido chega ao próximo componente e o que permanece fora da visibilidade do controle inicial.
Atribua responsáveis às decisões de governança e à sua aplicação
Uma atribuição funcional separa quem define um uso permitido, quem configura seu controle, quem pode aprovar uma exceção e quem verifica o resultado. Na iniciativa hipotética, o responsável pelos dados pode limitar o conteúdo enviado a um serviço, o administrador do navegador pode controlar a disponibilidade de um auxiliar gerenciado e o responsável pela base de conhecimento pode restringir o acesso de escrita. Essas são responsabilidades propostas, não ações que um painel central executa automaticamente.
O AI RMF Playbook do NIST recomenda documentar papéis, responsabilidades e caminhos de comunicação para a gestão de riscos de IA. Use esse princípio para tornar o encaminhamento específico o suficiente para que uma questão de política chegue a alguém com autoridade para decidir, e uma questão de implementação chegue a alguém capaz de alterar o controle. NIST AI RMF Playbook, Govern 2.1.
Para cada controle relevante, pergunte qual operação ele pode afetar, que informações usa e o que acontece quando fica indisponível. O pilar de governança em runtime explica esses contratos. A coordenação empresarial não exige que um mecanismo desempenhe todos os papéis; exige uma descrição fiel de quais papéis estão implementados e quais continuam sem solução.
Use telemetria e evidências de auditoria para responder a uma pergunta
Especifique a decisão que a evidência precisa sustentar. Para investigar o auxiliar, a equipe pode precisar estabelecer suas permissões efetivas e o destino real de uma transmissão. Para investigar uma mudança na base de conhecimento, pode precisar distinguir uma escrita proposta, uma solicitação ao serviço e o registro alterado no destino. O log de atividade de uma aplicação não responderá necessariamente às duas perguntas. A definição de observabilidade de IA distingue observações de modelos, aplicações e fluxos.
Identifique a origem e os limites de cada registro antes de correlacioná-los. Uma sessão de agente pode agrupar atividades sem provar qual tentativa causou uma mudança, e um evento de política pode descrever uma decisão sem confirmar sua aplicação. O guia de trilha de auditoria de agentes de IA aprofunda essas distinções. O acesso às evidências deve permanecer controlado; copiar material sensível para um alerta com acesso amplo pode criar outra exposição.
Conecte a operação de segurança a quem pode agir
A observação disponibiliza informações. A triagem determina sua relevância e o que precisa ser examinado. A investigação estabelece os dados, a identidade e o caminho afetados, além dos fatos sustentados pelas evidências. A contenção exige uma mudança autorizada em um ponto capaz de limitar o problema. Uma notificação recebida pelo SOC não comprova que a mudança necessária ocorreu.
A análise sobre incidente e decisão de governança explica por que uma solicitação negada não classifica a situação ao redor e como manter distintas as restrições operacionais, a investigação e a declaração de incidente.
No caso do auxiliar hipotético, um destino não esclarecido pode exigir primeiro uma verificação pelo administrador do navegador e pelo responsável pelos dados. Se uma transmissão não autorizada for confirmada, a resposta precisa identificar qual instalação, permissão ou caminho de recebimento pode ser restringido e por quem. Restringir transmissões futuras não prova que o conteúdo já entregue foi removido. Para uma escrita não autorizada na base de conhecimento, o responsável pelo destino pode precisar restringir a identidade executora e avaliar os registros alterados. Essas são responsabilidades condicionais de resposta, não um relato de incidente ou um playbook executado.
Escalone conforme o recurso e a autoridade ainda não esclarecida: suspeita de exposição de dados sensíveis para o responsável pelos dados, execução não esclarecida para o responsável pelo runtime ou endpoint e mudanças não autorizadas para os responsáveis pelo destino e pela identidade. Preserve o que é conhecido e o que continua sem verificação. Registre quem aceitou o encaminhamento, qual ação estava autorizado a realizar e que observação confirmaria seu efeito.
O AI RMF Playbook do NIST aborda a comunicação de incidentes e erros e o cumprimento de processos documentados de acompanhamento, resposta e recuperação. Aplique esse princípio às operações existentes da organização. Uma integração com uma fila de alertas é um mecanismo de entrega a verificar, não evidência de resposta concluída ou substituto dessas responsabilidades. NIST AI RMF Playbook, Manage 4.3.
Como a KonaSense se conecta a esses limites
O Kona for Browser permite avaliar prompts conforme políticas em aplicações de IA na web compatíveis. Seu papel corresponde a um limite específico de envio. Os caminhos de navegador analisados dependem do modo de inspeção e podem retomar o envio quando a avaliação falha; eles não comprovam inspeção de toda extensão ou solicitação enviada pelo navegador.
No Kona for Agents, o adaptador Claude Code PreToolUse analisado pode retornar uma negação de uso de ferramenta ou um pedido de aprovação a partir de uma decisão de política. Essa implementação retorna Allow quando a avaliação falha, e a aplicação da resposta depende do host. Isso é diferente de gerenciar a identidade de serviço ou controlar toda operação posterior em um destino remoto.
O caminho analisado de ingestão de traces OTLP recebe atividade exportada para análise em segundo plano e não retorna uma decisão de intervenção à aplicação emissora. Ele pode contribuir com evidências de atividade dentro do contexto disponível. Avalie esses mecanismos em relação aos caminhos específicos em uso, junto aos controles de dados, identidade, destino e operação da empresa.