O que é governança de IA?
Governança de IA é o conjunto de políticas, responsabilidades, controles e evidências que uma organização usa para decidir como a inteligência artificial pode ser desenvolvida, implantada e utilizada. Ela conecta as decisões sobre riscos aceitáveis às pessoas, aos sistemas e aos processos que colocam essas decisões em prática.
Para uma explicação concisa do termo, leia o verbete de governança de IA.
Na empresa, isso exige respostas concretas: quem pode usar uma aplicação de IA, quais dados ela pode receber, que ações um agente pode executar e quem responde quando algo dá errado. Um programa útil de governança consegue explicar tanto a regra quanto a forma de verificar seu cumprimento.
O escopo vai além da segurança. Os Princípios de IA da OCDE incluem equidade e privacidade, transparência, segurança e prestação de contas. O AI Risk Management Framework do NIST é uma orientação voluntária que abrange concepção, desenvolvimento, uso e avaliação de sistemas de IA. Esta página trata de como transformar decisões de governança em controles para o uso de IA nas empresas.
Por que a IA generativa e os agentes mudaram a governança
A IA generativa e os agentes tornam o contexto de uso central para a decisão de governança. Um mesmo modelo pode atender a uma pessoa que redige um texto, a uma aplicação que resume registros ou a um agente que escolhe ferramentas e age a partir dos resultados. Aprovar o modelo não resolve as permissões e o tratamento dos dados em cada processo.
Exemplo hipotético: uma equipe de suporte aprova um assistente para preparar respostas com base em uma central de ajuda pública. Ao conectá-lo a registros de clientes, muda o escopo de acesso a dados. Ao permitir que ele efetue reembolsos, muda a autoridade concedida ao sistema. Essas alterações precisam de revisão mesmo que o modelo continue sendo o mesmo.
A política precisa, portanto, descrever a finalidade, os dados e as ações permitidas. “Ferramenta de IA aprovada” é uma decisão incompleta se esses três pontos ficarem em aberto. A equipe também precisa conseguir identificar mudanças em um processo já aprovado.
Governança de modelos e governança do uso
A governança de modelos e a governança do uso respondem a perguntas complementares. A comparação abaixo descreve seus focos, sem propor dois padrões separados ou programas excludentes. A governança de modelos também continua após a implantação.
| Pergunta de governança | Foco da governança de modelos | Foco da governança do uso |
|---|---|---|
| O que é avaliado? | Adequação, comportamento e limitações do modelo para a finalidade prevista | Uso da IA por uma pessoa, aplicação ou agente em um processo específico |
| Quais evidências ajudam? | Resultados de avaliações, documentação dos dados, histórico de versões e limitações conhecidas | Registros disponíveis de acesso, atividade, decisões de política, aprovações e resultados |
| Que mudança exige revisão? | Atualização do modelo, mudança nos resultados de avaliação ou nova finalidade | Novos acessos a dados, permissões de ferramentas, usuários, destinos ou ações permitidas |
| Qual decisão resulta? | Se o modelo é adequado e sob quais condições | Se aquele uso é permitido e quais controles exige |
Um modelo pode ser adequado para produzir resumos e, ainda assim, uma transferência específica de registros de clientes ser proibida. No sentido inverso, um processo corretamente autorizado pode gerar um resumo impreciso. Avaliar o comportamento do modelo e controlar seu uso são cuidados necessários.
O pilar de governança do uso de IA explica como definir usos permitidos e revisar mudanças nos dados, nas saídas e na finalidade.
As superfícies da governança de IA na empresa
Um inventário operacional deve descrever as relações entre pessoas, aplicações, agentes, dados, ferramentas e ações. Essas seis superfícies oferecem uma forma prática de examinar um processo. Isso não significa que uma única integração consiga observar todas elas.
Pessoas
Identifique quem solicita o trabalho, quem responde pelo caso de uso e quem pode aprovar exceções. Diferencie a conta pessoal do funcionário de uma conta gerenciada pela organização quando essa distinção afetar o uso permitido.
Aplicações
Registre onde a IA é acessada: aplicação no navegador, cliente desktop, funcionalidade incorporada ou serviço interno. Inclua o responsável e a finalidade aprovada. O nome da aplicação, sozinho, não informa qual conta, configuração ou acesso a dados está em uso.
Agentes
Descreva quais decisões foram delegadas ao software, quais ferramentas estão disponíveis e em que condições uma pessoa deve revisar o trabalho. Governe o comportamento e a autoridade concedida ao sistema. Para aprofundar a terminologia, leia Agente de IA.
Explore políticas, aprovações e evidências no pilar de governança de agentes de IA.
Dados
Mapeie o que o processo lê, envia, gera e armazena. Inclua os destinos e quem pode acessar os registros resultantes. Considere também a coleta feita pelo próprio sistema de governança: inspecionar um prompt pode criar outra cópia de conteúdo sensível.
Ferramentas
Identifique as funções expostas à aplicação ou ao agente e as permissões usadas para acioná-las. Uma ferramenta que consulta um registro e outra que o altera exigem decisões diferentes, mesmo quando ambas se conectam ao mesmo serviço.
Ações
Diferencie uma ação proposta de uma ação tentada ou concluída. Preparar uma recomendação de reembolso, aprová-la e efetuar o reembolso são eventos separados. Preservar esses estados evita tratar o registro de uma solicitação como prova do que de fato aconteceu.
O pilar de segurança de IA empresarial conecta esses caminhos às pessoas que controlam os recursos afetados e coordenam a resposta de segurança.
Capacidades essenciais de governança de IA
Um programa prático precisa conectar a descoberta do uso a decisões que possam ser revisadas. As capacidades abaixo descrevem necessidades da organização. Não são uma lista de funcionalidades prometidas por um produto específico.
Descoberta
Monte um inventário a partir das evidências disponíveis, como aplicações aprovadas, cadastros de casos de uso e sinais técnicos relevantes. Registre como cada entrada foi identificada e quando foi verificada. Declare as lacunas de cobertura para que um inventário incompleto não pareça completo.
Visibilidade
Relacione a atividade disponível ao usuário, à aplicação e ao contexto de negócio. Indique quais campos estão ausentes. Um evento sem o conteúdo do prompt pode mostrar que houve uma interação, mas não quais dados estavam envolvidos. Preserve essa distinção nas investigações e nos relatórios.
Política
Escreva regras que possam ser aplicadas a uma solicitação concreta. Inclua escopo, comportamento permitido, responsável, exceções e condições de revisão. O AI RMF Playbook do NIST, na função GOVERN, conecta as políticas de IA à governança organizacional e de dados, incluindo sistemas em uso e de terceiros.
No exemplo hipotético do suporte, a política poderia permitir rascunhos baseados na central de ajuda pública, restringir o acesso a registros de clientes aos chamados atribuídos e exigir um aprovador designado para reembolsos. Cada regra exige um ponto de implementação diferente.
Para o processo de aprovação, examine por que a governança de IA precisa ir dos modelos às ações.
Aplicação dos controles
Posicione o controle onde ele pode afetar a decisão relevante. Pode ser uma permissão na aplicação, uma regra de acesso a dados ou uma verificação antes de executar uma ferramenta. Valide o caminho permitido, o proibido e o comportamento quando o controle estiver indisponível.
A orientação da OWASP sobre Excessive Agency recomenda limitar funções e permissões das ferramentas, exigir aprovação humana para ações de alto impacto e aplicar autorização nos sistemas de destino. A avaliação do próprio modelo de que uma ação é aceitável não substitui a autorização.
Auditoria
Preserve evidências suficientes para reconstruir a decisão: ação solicitada, contexto relevante, regra aplicada, decisão e resultado observado, quando disponível. Documente as lacunas e as escolhas de retenção. O princípio de prestação de contas da OCDE prevê rastreabilidade de dados, processos e decisões durante o ciclo de vida do sistema de IA, conforme o contexto.
Relatórios
Apresente decisões que exigem atenção, além dos totais de atividade. Perguntas úteis incluem quais processos não têm responsável, quais exceções seguem abertas e quais controles têm cobertura ainda não verificada. Identifique a fonte dos dados e o período para distinguir uma constatação medida de uma suposição.
O que a governança em runtime acrescenta
Nesta página, governança de IA em runtime (durante a execução) significa aplicar decisões de governança à atividade de IA enquanto um processo está em operação, usando o contexto disponível naquele momento. Ela conecta uma política aprovada a uma interação ou ação concreta, dando continuidade à aprovação inicial do caso de uso.
O momento da avaliação determina o que um controle pode fazer. Uma verificação anterior à ação pode participar da decisão de permitir sua execução. A telemetria recebida depois da conclusão pode apoiar investigação e resposta posterior, mas não pode impedir aquela ação já concluída.
Governança pré-execução, ou pre-execution governance, designa aqui a parte que avalia uma ação proposta antes de sua execução, em um ponto capaz de negar permissão. Isso depende de uma integração que participe do caminho de execução. Um coletor de logs, por si só, não oferece esse controle.
No processo hipotético de reembolso, uma verificação pré-execução avaliaria o pedido antes do envio. Um evento posterior poderia confirmar o resultado. A auditoria deve distinguir a decisão de autorização da evidência de conclusão, inclusive quando o resultado estiver ausente.
Os controles em runtime continuam dependendo de responsáveis definidos, permissões adequadas e revisão do caso de uso. Eles tratam do momento operacional dentro de um programa mais amplo de governança.
Como a KonaSense aborda a governança de IA
A KonaSense organiza seu produto em torno do uso de IA em diferentes ambientes de trabalho. A integração adequada e seus limites devem ser avaliados para o processo em questão.
O Kona for Browser permite avaliar prompts conforme políticas em aplicações de IA na web compatíveis. Sua documentação de privacidade, em inglês descreve o envio do conteúdo dos prompts ao tenant da organização na KonaSense para avaliação de políticas. A intervenção disponível depende da integração suportada e do modo de inspeção.
Para o trabalho com agentes de código, consulte o Kona for Agents. Para telemetria de aplicações desktop, a nota técnica sobre OpenTelemetry e governança de aplicações de IA explica o caminho de observação e seus limites. O contexto disponível depende do que a aplicação exporta; a telemetria assíncrona não pode interromper uma ação que já foi concluída.
Perguntas frequentes
Quem deve ser responsável pela governança de IA?
Defina um responsável pelo programa e atribuições explícitas para cada caso de uso. Os responsáveis de negócio definem o resultado esperado; segurança, privacidade, risco e engenharia contribuem com controles e revisões dentro de suas atribuições. Registre quem aceita exceções e quem responde a incidentes para que a participação de várias áreas não deixe decisões sem responsável.
Aprovar uma aplicação de IA torna qualquer uso aceitável?
A aprovação precisa ter escopo. Uma aplicação aprovada para material público pode exigir outra decisão para registros confidenciais ou ações em sistemas de produção. Documente os dados, usuários e ações permitidos e revise mudanças nessas condições.
Por onde uma organização deve começar?
Escolha um processo com consequências relevantes. Defina seu responsável, mapeie dados e permissões, estabeleça as ações permitidas e identifique as evidências e os pontos de controle disponíveis. Teste a política com uma solicitação permitida e outra proibida. Use o que essas verificações revelarem para melhorar o processo antes de ampliar o programa.