Empresas estão ampliando o uso de agentes de inteligência artificial em suas operações, mas nem sempre acompanham esse movimento com estruturas de governança capazes de supervisionar o funcionamento dos sistemas. Limites de atuação, mecanismos de auditoria e definição de responsabilidade ainda não fazem parte da adoção em muitos casos, segundo Carlos Pisani, CEO da ArcH IA e especialista em metodologia de construção de software com IA.
O avanço ocorre justamente enquanto os agentes passam a assumir tarefas mais complexas dentro das organizações. Para Pisani, o aumento da autonomia dos sistemas torna mais importante a existência de mecanismos que permitam acompanhar o que eles fazem, identificar eventuais desvios e estabelecer formas de intervenção.
A discussão sobre os riscos de uma expansão da inteligência artificial sem mecanismos adequados de supervisão também aparece no debate internacional. Uma petição chamada “Pacing the Frontier”, divulgada em 28 de julho, foi assinada por mais de 1.100 funcionários de OpenAI, Anthropic, Google DeepMind e Meta. Entre os signatários estão Dario Amodei, CEO da Anthropic, além de outros cofundadores e cientistas-chefes.
O documento pede ao governo dos Estados Unidos apoio a um esforço internacional voltado ao desenvolvimento de ferramentas técnicas e de governança que possam desacelerar o avanço da IA caso a tecnologia ultrapasse a capacidade humana de supervisão. A proposta não pede a interrupção dos projetos em andamento, mas defende a criação de mecanismos preventivos.
“As empresas líderes em IA no mundo acreditam que podem estar perto de automatizar a pesquisa em IA. É difícil prever exatamente o quanto isto vai acelerar o progresso da IA, mas há um risco real de que a capacidade de desenvolvimento avance além da nossa habilidade de compreender ou controlar os sistemas resultantes”, afirma a petição.
Na avaliação de Pisani, a manifestação ajuda a dimensionar, em escala global, uma questão que também aparece dentro das empresas que estão adotando agentes de IA. Para ele, existe uma diferença de contexto entre a fronteira tecnológica e a aplicação corporativa, mas o desafio relacionado à supervisão tem pontos em comum.
“Se até quem cria a tecnologia está pedindo um freio, cabe perguntar por que tantas empresas continuam colocando agentes de IA em operação sem nenhuma camada de governança interna”, afirma. “Essa discussão envolve a supervisão na fronteira tecnológica. Dentro das empresas, a fronteira é outra, mas o problema de fundo se repete. Trata-se de colocar um agente para operar sem definir limites, sem estabelecer mecanismos de auditoria e sem determinar quem será responsável por suas ações”.
O aumento da autonomia dos agentes é um dos pontos centrais dessa discussão. À medida que esses sistemas passam a executar atividades mais complexas, a empresa precisa acompanhar não apenas o resultado final, mas também estabelecer previamente quais ações podem ser realizadas de forma autônoma e em quais situações deve existir intervenção humana.
“A empresa precisa saber o que o agente pode fazer, o que ele não pode fazer e quem responde quando alguma coisa sai do previsto. Sem isso, a autonomia deixa de ser um ganho operacional e passa a criar um novo ponto de vulnerabilidade”, explica.
Além da questão relacionada à supervisão, Pisani também chama atenção para o contexto econômico da indústria de IA. Segundo o executivo, o setor enfrenta escassez de infraestrutura, com máquinas e chips disputados por poucos fornecedores, enquanto parte das empresas ainda não gera receita suficiente para cobrir o volume de investimentos realizados.
“A conta ainda não fecha. Uma hora essa bolha estoura”, diz. “O que está por trás dessa petição não é só uma preocupação com segurança. É também uma forma de ganhar tempo e dividir a responsabilidade pelos riscos, num momento em que a infraestrutura não acompanha o ritmo de expansão nem os investimentos se pagam”.
Esse cenário, segundo o especialista, reforça a necessidade de as empresas brasileiras incorporarem a governança ao próprio processo de adoção de agentes de IA. A estrutura de acompanhamento, nessa visão, não deveria depender da criação de regras externas ou surgir somente depois que a tecnologia já estiver incorporada à operação.
“Quem espera um marco regulatório para começar a pensar em governança interna vai chegar atrasado. A carta mostra que nem quem está na ponta mais avançada da tecnologia sabe exatamente o que vem a seguir”, afirma.
A preocupação ganha peso principalmente em áreas nas quais os agentes podem acessar informações, executar processos ou tomar decisões que tenham impacto sobre outras pessoas. Nesses casos, a definição dos limites de atuação e dos responsáveis pelo acompanhamento precisa fazer parte da arquitetura de implementação.
Para Pisani, estabelecer essa estrutura antecipadamente também reduz a complexidade de eventuais ajustes futuros. Uma operação que já tenha crescido e incorporado agentes a diferentes processos pode exigir mudanças mais difíceis caso os mecanismos de controle sejam criados apenas posteriormente.
“Acompanhar a evolução da IA também significa criar condições para que a autonomia dos sistemas avance de forma compatível com a capacidade humana de supervisioná-los”, finaliza Pisani.
