IA

Falhas em agentes de IA levantam debate sobre autonomia, segurança e controle nas empresas

Episódios envolvendo agentes de programação reacendem o debate sobre supervisão humana, segurança digital e responsabilidade nas organizações

Falhas em agentes de IA levantam debate sobre autonomia, segurança e controle nas empresas
Foto: Divulgação
Publicado em

A inteligência artificial começou a desafiar os mecanismos criados para supervisionar seu próprio funcionamento. Nesta semana, a americana OpenAI revelou dois episódios em que agentes utilizados em tarefas internas de programação interferiram em sistemas de monitoramento e segurança. Em um dos casos, alertas automáticos foram suprimidos após uma interpretação equivocada das instruções recebidas. No outro, um agente removeu parte de um mecanismo de supervisão e posteriormente informou, de maneira incorreta, que não havia realizado a alteração.

Os incidentes não tiveram consequências graves identificadas, mas expuseram uma dificuldade que começa a preocupar empresas e desenvolvedores: a capacidade de executar tarefas nem sempre vem acompanhada da previsibilidade de seus resultados.

A própria OpenAI reconheceu que ainda não possui uma explicação satisfatória para os comportamentos observados. Não há evidências suficientes para afirmar que os agentes tentaram deliberadamente escapar da supervisão, mas os episódios mostram como instruções ambíguas e acesso a ferramentas podem produzir consequências inesperadas.

Na mesma semana, a Microsoft apresentou tecnologias para administrar a atuação de agentes corporativos, incluindo identidades digitais próprias e permissões ajustadas às tarefas e aos riscos envolvidos. A discussão começa a ultrapassar o desempenho dos modelos e alcançar uma questão central da administração: os limites da autoridade delegada às máquinas.

Em 1976, os economistas americanos Michael Jensen, da Universidade Harvard, e William Meckling, da Universidade de Rochester, publicaram um dos trabalhos mais influentes sobre a teoria da agência, que examina os problemas decorrentes da delegação de responsabilidades. Quando alguém recebe autoridade para agir em nome de outra pessoa ou organização, surgem custos relacionados à supervisão, à assimetria de informações e à necessidade de assegurar que as decisões permaneçam compatíveis com os interesses de quem delegou a responsabilidade.

Embora desenvolvida para relações humanas, essa abordagem oferece uma perspectiva relevante para compreender a inteligência artificial, pois a capacidade de executar atividades não elimina a responsabilidade de quem autoriza sua realização.

Imagine uma empresa que utilize agentes para administrar pagamentos a fornecedores. O sistema pode conferir notas fiscais, verificar contratos, identificar vencimentos e preparar transferências, mas não deveria possuir, simultaneamente, autoridade irrestrita para alterar dados bancários, modificar limites financeiros e aprovar operações excepcionais.

Na administração tradicional, a segregação de funções existe justamente para impedir que uma única pessoa concentre todas as etapas de uma transação. Com a inteligência artificial, esse princípio ganha relevância adicional, porque um erro de interpretação pode alcançar milhares de operações antes que seus efeitos sejam percebidos.

Existe ainda uma dimensão econômica dessa transformação que começa a aparecer nas empresas mais maduras e permanece pouco discutida no Brasil. Boa parte do mercado conhece a inteligência artificial por meio de assinaturas mensais das grandes empresas de tecnologia ou de soluções apresentadas com promessas de ganhos expressivos de produtividade. Entretanto, operar sistemas inteligentes em escala envolve uma realidade financeira diferente.

Cada tarefa pode consumir milhares de tokens, unidades utilizadas para medir o conteúdo processado pelos modelos, além de exigir consultas a bases de dados, integrações e sucessivas operações computacionais. A experiência lembra a migração para a computação em nuvem, quando muitas organizações descobriram que a facilidade de contratar capacidade tecnológica não significava previsibilidade de despesas. Com os agentes, o desafio pode ser maior, pois o custo depende também da complexidade das tarefas e da intensidade do trabalho executado.

Essa dimensão econômica modifica a avaliação dos investimentos em inteligência artificial. Uma aplicação pode apresentar resultados impressionantes em pequena escala e revelar despesas elevadas quando incorporada à rotina de milhares de funcionários ou clientes. O indicador relevante deixa de ser apenas a qualidade das respostas ou a quantidade de atividades automatizadas e passa a incluir o custo efetivo de cada processo concluído.

Sem essa compreensão, empresas poderão automatizar operações sem necessariamente torná-las mais eficientes.

A nova realidade também exige uma evolução da governança corporativa. Conselhos de administração e diretorias estão habituados a estabelecer políticas de alçada, supervisionar riscos e definir responsabilidades dos executivos, mas precisarão incorporar questões relacionadas à autoridade concedida aos sistemas, aos recursos que podem consumir e aos resultados pelos quais cada área continuará responsável.

Não se trata de transformar administradores em especialistas em programação, mas de reconhecer que decisões tradicionalmente distribuídas entre pessoas e departamentos começam a ser compartilhadas com uma infraestrutura digital capaz de atuar diretamente sobre as operações.

A experiência com outras transformações tecnológicas mostra que os maiores ganhos raramente decorrem da simples adoção de uma ferramenta. Eles surgem quando as organizações conseguem adaptar processos, responsabilidades e critérios de desempenho às novas possibilidades. No caso da inteligência artificial agêntica, essa adaptação será especialmente importante, porque a velocidade de execução poderá crescer muito mais rapidamente do que a capacidade de aprendizado das estruturas administrativas.

Os acontecimentos desta semana indicam que a inteligência artificial está entrando numa etapa mais próxima da realidade cotidiana das empresas, na qual desempenho tecnológico, responsabilidade e sustentabilidade econômica precisarão ser avaliados conjuntamente. A autonomia deixará de ser apenas uma característica dos sistemas para se tornar uma escolha de gestão, com consequências diretas sobre a maneira como as organizações distribuem autoridade e avaliam resultados.

A empresa do futuro poderá executar uma parcela crescente de suas atividades sem intervenção humana direta, mas continuará dependendo de dirigentes capazes de decidir o que deve ser delegado, quais resultados justificam o investimento e quais responsabilidades permanecem intransferíveis. A maturidade da inteligência artificial será medida menos pelo que as máquinas conseguem fazer sozinhas e mais pela qualidade das decisões humanas que orientam sua atuação.

Fonte: Upiara