Nos agentes de IA, a maior parte da atenção se concentra na capacidade de raciocínio do agente. O modelo pode elaborar o plano certo, dividir uma meta em etapas e decidir o que fazer a seguir. Presta-se bem menos atenção à última etapa desse processo: a execução da ação que o modelo determinou. Essa "etapa final" é tida como garantida, apesar de ser a etapa que frequentemente faz com que sistemas baseados em agentes falhem silenciosamente em produção.
O que as chamadas de ferramentas realmente viabilizam?
As chamadas de ferramentas dão mãos ao seu agente. Elas fazem toda a diferença entre um modelo que só consegue descrever o que faria e outro que realmente executa as ações necessárias — seja consultando um banco de dados, abrindo um chamado, realizando um cálculo, acionando outro serviço ou retornando com um resultado concreto, em vez de uma suposição. Para um agente, a chamada de ferramentas não é apenas uma funcionalidade entre muitas: é o mecanismo fundamental pelo qual o raciocínio se transforma em ação.
Isso também a torna propensa a falhas. A saída de cada etapa alimenta a entrada da seguinte. Portanto, um agente que planeja cinco etapas e só consegue executar três delas com segurança é tão útil quanto um que não tem acesso a ferramenta alguma.
O problema da formatação
Cada modelo chama ferramentas de uma forma ligeiramente diferente. Se a chamada de ferramenta não for formatada exatamente da forma correta, toda a resposta pode se desestruturar.
# Modelo A: Tag no estilo XML envolvendo um payload JSON{"name": "get_weather", "arguments": {"city": "Boston"}}
<tool_call>{"name": "get_weather", "arguments": {"city": "Boston"}}</tool_call>
# Modelo B: JSON simples, nome de campo diferente para o mesmo conceito
{"tool_calls": [{"function": {"name": "get_weather", "parameters": {"city": "Boston"}}}]}
# Modelo C: um token especial seguido por uma sequência de caracteres no estilo de chamada de função
[TOOL_CALL] get_weather(city="Boston")
Fig. 1: Tags no estilo XML envolvendo JSON, JSON simples e chamada de ferramenta no estilo de função.
Alguns modelos usam tags ou tokens específicos para sinalizar a chamada; outros exigem uma estrutura JSON e nomes de campo determinados. Um analisador precisa saber, com antecedência, qual formato um determinado modelo produzirá. Modelos que misturam o texto do raciocínio com a chamada de ferramenta real tornam isso ainda mais difícil, pois a parte da resposta necessária para a chamada fica logo ao lado do texto de raciocínio, que não deve ser analisado como instrução.
Por que isso afeta mais os sistemas baseados em agentes do que o chat
Em uma única interação no chat, uma chamada de ferramenta com análise incorreta gera apenas uma resposta errada. Em um agente que executa uma tarefa de várias etapas, essa é a primeira peça do dominó. O plano da próxima etapa depende do que a anterior realmente executou. Não importa o que o modelo pretendia fazer, apenas como a chamada de ferramenta foi efetivamente analisada e executada. Se errar uma etapa pelo caminho, tudo no downstream raciocinará a partir de um cenário incompatível com a realidade, sem nenhum aviso evidente de falha.
Esse efeito cumulativo é o verdadeiro problema da última etapa. Todas essas falhas comuns se manifestam silenciosamente por conta própria:
- Estilo de tag incorreto: um analisador ajustado para o estilo de tag de um modelo ignorará a chamada de ferramenta de um modelo que não utiliza tags. A chamada nunca é disparada, e o plano do agente perde uma etapa de forma silenciosa.
- Rótulos incompatíveis: um analisador que espera o rótulo "arguments" não necessariamente falhará diante de um payload que utilize "parameters". Ele pode simplesmente repassar valores vazios ou incorretos; assim, a ferramenta roda com a entrada errada, e o agente prossegue como se a etapa tivesse sido bem-sucedida.
- Cargas variáveis de chamadas: um analisador configurado para esperar uma chamada de ferramenta por resposta pode capturar apenas a primeira chamada em uma resposta múltipla e descartar o restante em silêncio. Assim, o agente que solicitou três ações recebe retorno de apenas uma.
- Raciocínio misturado à chamada: quando um modelo mescla o raciocínio com a chamada de ferramenta e o analisador não define essa divisão corretamente, ele pode extrair argumentos do texto de raciocínio em vez da chamada real. A próxima etapa do plano do agente receberá valores que ele não pretendia enviar.
Um agente não conta com uma pessoa supervisionando cada etapa para verificar se a chamada de ferramenta agiu corretamente antes de avançar. Esse é o objetivo de um agente. É também por isso que uma falha silenciosa na última milha custa muito mais aqui do que em qualquer outra parte do sistema. Nada impede que uma falha provoque um efeito dominó caótico, construindo minuciosamente um plano de várias etapas que agora está totalmente equivocado.
Por que isso continua falhando silenciosamente, mesmo após ter funcionado
Basta trocar para um modelo diferente por motivos de custo ou desempenho para que um agente que funcionava com perfeição passe a falhar em silêncio ao chamar ferramentas ou a dispará-las com dados errados. Muito provavelmente, nada nos logs parecerá um erro evidente, porque o sistema não travou. Ele apenas executou silenciosamente a ação incorreta — ou nenhuma ação —, em vez de agir conforme o planejado.
Uma atualização no modelo que você já utiliza pode causar o mesmo impacto: basta uma alteração simples na formatação das chamadas de ferramentas para que um analisador programado de forma rígida para o formato antigo pare de funcionar assim que o update for lançado. A falha pode parecer ter surgido de uma origem totalmente diferente, encoberta por três ou quatro etapas do agente executadas posteriormente.
O que a camada de serving precisa fazer a respeito
Cada engine de serving precisa saber interpretar o formato de chamada de ferramenta produzido por cada modelo e ter inteligência suficiente para não falhar caso a versão do modelo mude. Seu engine de serving deve ser capaz de:
- Reconhecer e analisar corretamente o formato nativo de chamada de ferramenta de cada família de modelos, incluindo variações baseadas em tags, em JSON e em tokens especiais.
- Normalizar diferenças nos nomes dos campos (
argumentsversusparameterse similares) em vez de pressupor uma estrutura única. - Processar múltiplas chamadas de ferramentas em uma única resposta, e não apenas a primeira.
- Separar o texto de raciocínio da chamada de ferramenta real antes de extrair os argumentos.
- Permanecer estável diante de alterações de versão do modelo, para que uma atualização upstream não quebre em silêncio um pipeline dependente.
Todos esses recursos são fundamentais para sistemas baseados em agentes. É a diferença entre um agente que segue funcionando conforme os modelos mudam e outro que simplesmente para de agir conforme esperado na próxima vez que alguém atualizar uma dependência.
Como sua equipe lida com a confiabilidade da chamada de ferramentas em pipelines de agentes de IA atualmente? Gostaríamos de saber mais sobre a sua experiência. Confira o que há de novo e o que vem por aí no Red Hat AI!
Recurso
Introdução à IA empresarial para organizações: guia para iniciantes
Sobre os autores
Grace Ableidinger is an AI Engineer and Developer Advocate at Red Hat based in Raleigh, NC. She is passionate about inference optimization, through open-source projects, like vLLM and llm-d, and finding the intersection of AI with high-impact industries. She is dedicated to building communities and resources that empower people to use AI to build a better world.
Sawyer Bowerman is an AI Developer Advocate on Red Hat’s AI team based in Boston, MA. He specializes in high-performance model serving and inference, focusing on scaling open source ecosystems like vLLM and llm-d to make large language models more efficient and accessible for developers. He is dedicated to bridging the gap between raw model performance and real-world developer productivity through open-source innovation.
Mais como este
Precisão de 98% com o GroundX e o Red Hat OpenShift AI
Quando o framework de agentes de IA não é suficiente
Can we trust AI agents in the enterprise?
Can agentic AI patch the internet?
Navegue por canal
Automação
Últimas novidades em automação de TI para empresas de tecnologia, equipes e ambientes
Inteligência artificial
Descubra as atualizações nas plataformas que proporcionam aos clientes executar suas cargas de trabalho de IA em qualquer ambiente
Nuvem híbrida aberta
Veja como construímos um futuro mais flexível com a nuvem híbrida
Segurança
Veja as últimas novidades sobre como reduzimos riscos em ambientes e tecnologias
Edge computing
Saiba quais são as atualizações nas plataformas que simplificam as operações na borda
Infraestrutura
Saiba o que há de mais recente na plataforma Linux empresarial líder mundial
Aplicações
Conheça nossas soluções desenvolvidas para ajudar você a superar os desafios mais complexos de aplicações
Virtualização
O futuro da virtualização empresarial para suas cargas de trabalho on-premise ou na nuvem