A governança da inteligência artificial não termina no modelo: a última milha está na decisão

O debate sobre governança da inteligência artificial amadureceu bastante nos últimos anos. Hoje já existe um conjunto relevante de referências tratando de gestão de risco, supervisão humana, transparência, documentação, monitoramento e melhoria contínua. O NIST AI RMF — framework do Instituto Nacional de Padrões e Tecnologia dos Estados Unidos para gestão de riscos em inteligência artificial — foi criado para ajudar organizações a identificar, medir, tratar e acompanhar riscos associados a sistemas de IA. O Regulamento Europeu de IA adota uma lógica baseada em risco e exige, para sistemas de maior criticidade, medidas como documentação, registros de operação, informação adequada ao operador e supervisão humana apropriada. Já a ISO/IEC 42001, norma internacional de gestão para inteligência artificial, organiza o tema em torno de política, risco, governança de dados, transparência, monitoramento e melhoria contínua.

Tudo isso é importante — e ainda assim não esgota o problema.

O ponto é que boa parte do debate continua concentrada no sistema de IA e em seu ciclo de vida, ou no máximo em seu uso responsável, enquanto a pergunta decisiva costuma surgir um passo depois:

É justamente aí que surge a ideia da governança da última milha da IA.

Aqui, “última milha” não é um novo rótulo regulatório. É uma lente prática. Refere-se ao trecho entre a saída produzida por um sistema de IA e a decisão efetivamente assumida por uma pessoa, por uma área ou por uma organização. É o ponto em que recomendação vira escolha, escolha vira execução, e execução passa a produzir consequência econômica, regulatória, operacional e reputacional.

Em termos simples: não basta governar o modelo. Não basta governar o uso da IA. Também é preciso governar a decisão que usa IA.

Essa formulação não contraria o que já existe no debate atual. Pelo contrário: ela decorre dele. A própria OCDE — Organização para a Cooperação e Desenvolvimento Econômico — trata transparência, em suas diretrizes recentes, como a obrigação de informar quando a inteligência artificial está sendo usada em uma previsão, recomendação, decisão ou interação. E trata explicabilidade como a capacidade de permitir que as partes interessadas compreendam como um resultado foi produzido e, quando cabível, possam questioná-lo.

Ou seja: o próprio debate já aponta para a decisão. O que ainda falta, em muitos casos, é tratá-la como objeto explícito de governança.

Onde o risco realmente se materializa

Um modelo pode estar tecnicamente aceitável e, ainda assim, a decisão construída a partir dele ser ruim.

Isso pode acontecer por várias razões. Pode haver contexto incompleto. Pode haver dados inadequados para aquele caso concreto. Pode não terem sido consideradas alternativas reais. Pode haver confiança excessiva na recomendação produzida pela IA. Pode não estar claro quem responde pela decisão. Pode não existir condição de explicar, depois, por que aquela escolha foi feita daquela maneira.

Em ambientes regulados, isso se torna ainda mais evidente. O Banco de Compensações Internacionais, ao discutir os efeitos da IA no setor financeiro, chama atenção para temas como explicabilidade, governança de dados e gestão do risco de modelos. O desafio não é apenas fazer o sistema funcionar. É garantir que o seu uso em decisões relevantes não produza opacidade indevida, fragilidade de responsabilização ou deterioração de controles prudenciais.

Por isso, a última milha não deveria ser tratada como detalhe de implementação. Ela é o ponto onde quatro perguntas convergem ao mesmo tempo:

O debate contemporâneo de governança da IA já fornece partes importantes desse quebra-cabeça. O que ainda precisa amadurecer é a costura entre essas partes no momento em que a organização age sobre a saída da IA.

O que a governança da última milha tenta resolver

A governança da última milha não pretende substituir a governança de modelos. Nem substituir programas de uso responsável da inteligência artificial. Ela opera em outra camada.

Seu foco está em perguntas como:

• Qual foi o papel da IA nesta decisão?
• Ela entrou como contexto, recomendação, priorização ou evidência?
• Houve alternativas reais antes da escolha?
• A qualidade dos dados era suficiente para esta decisão específica?
• A cadeia de responsabilidade ficou clara?
• A explicação posterior será possível para auditor, regulador, cliente, paciente, cidadão ou conselho?
• A decisão foi monitorada depois de executada?
• O resultado gerou aprendizado ou apenas efeito imediato?

Essas perguntas não são meramente filosóficas. Elas têm consequência operacional. Em decisões de preço, crédito, fraude, logística, triagem, suprimentos, saúde, políticas públicas ou alocação de recursos, a ausência de resposta clara para essas questões abre espaço para três problemas clássicos: confiança excessiva na automação, opacidade sobre responsabilidade e dificuldade de demonstrar diligência depois do fato.

Três objeções que precisam ser tratadas

Uma tese como essa só se sustenta se enfrentar de saída as objeções mais previsíveis.

O que muda no debate atual

A contribuição da ideia de “última milha” não é criar uma disputa artificial com o debate já existente. É mostrar que ele ainda está incompleto quando para no sistema.

Hoje já avançamos bastante em torno de risco, transparência e responsabilidade. O próximo passo é perguntar, com mais precisão operacional: como se governa a decisão que usa inteligência artificial?

• Quem a assina?
• Com quais evidências?
• Com quais alternativas?
• Sob quais critérios?
• Com que possibilidade de explicação posterior?
• Com que vínculo com resultado real?

Essa talvez seja a camada menos espetaculosa do debate — e uma das mais importantes. Porque não é no modelo que o risco econômico, fiduciário e regulatório finalmente se resolve.

É na decisão.