에이전틱 AI에서는 대부분의 관심이 에이전트의 추론 기능에 집중됩니다. 모델은 적절한 계획을 세우고, 목표를 세부 단계로 나누며, 다음 단계를 결정할 수 있습니다. 반면 모델이 결정한 작업을 실제로 실행하는 프로세스의 마지막 단계에는 훨씬 적은 관심이 기울어집니다. 이 "라스트 마일"은 프로덕션 환경에서 에이전틱 시스템이 소리 없이 장애를 일으키는 주된 원인이 되는 단계임에도 불구하고 당연한 것으로 여겨집니다.
툴 호출이 실제로 가능하게 하는 것
툴 호출은 에이전트에게 직접 행동할 수 있는 손을 쥐어주는 것과 같습니다. 이는 무엇을 할 것인지 설명만 할 수 있는 모델과 데이터베이스 쿼리, 티켓 등록, 계산 실행, 다른 서비스 호출 등을 직접 수행하여 단순 추측 대신 실제 결과를 도출하는 모델의 차이입니다. 에이전트에게 툴 호출은 여러 기능 중 하나에 불과한 것이 아니라, 추론이 행동으로 이어지는 메커니즘 전체를 의미합니다.
그렇기 때문에 실패에도 취약할 수밖에 없습니다. 각 단계의 출력이 다음 단계의 입력으로 전달되기 때문입니다. 따라서 5단계를 계획하고 그중 3단계만 안정적으로 실행할 수 있는 에이전트는 툴에 전혀 액세스할 수 없는 에이전트나 다름없습니다.
포맷팅 문제
모델마다 툴을 호출하는 방식이 조금씩 다릅니다. 툴 호출 형식이 정확히 맞지 않으면 전체 응답이 무너질 수 있습니다.
# Model A: XML-style tag wrapping a JSON payload
<tool_call>{"name": "get_weather", "arguments": {"city": "Boston"}}</tool_call>
# Model B: plain JSON, different field name for the same concept
{"tool_calls": [{"function": {"name": "get_weather", "parameters": {"city": "Boston"}}}]}
# Model C: a special token followed by a function-call-style string
[TOOL_CALL] get_weather(city="Boston")그림 1: JSON을 감싸는 XML 스타일 태그, 일반 JSON, 함수 스타일 툴 호출.
어떤 모델은 특정 태그나 토큰을 사용하여 호출을 표시하고, 다른 모델은 특정 JSON 형태와 필드 이름을 요구합니다. 파서는 주어진 모델이 생성할 형태를 미리 파악하고 있어야 합니다. 사고 사슬(Chain-of-Thought) 텍스트를 실제 툴 호출과 혼합하는 모델의 경우 이러한 작업이 더욱 까다로워집니다. 호출에 필요한 응답 부분이 명령어로 파싱되어서는 안 되는 추론 텍스트 바로 옆에 위치하기 때문입니다.
이 문제가 채팅보다 에이전틱 시스템에 더 큰 영향을 미치는 이유
단일 채팅 대화에서 잘못 파싱된 툴 호출은 단순한 오답 하나에 불과합니다. 하지만 여러 단계의 태스크를 수행하는 에이전트에게 이는 첫 번째 도미노가 쓰러지는 것과 같습니다. 다음 단계의 계획은 이전 단계에서 실제로 수행한 작업에 따라 달라지기 때문입니다. 모델의 본래 의도가 무엇이었는지는 중요하지 않으며, 툴 호출이 실제로 어떻게 파싱되고 실행되었는지만 중요합니다. 진행 과정에서 한 단계라도 어긋나면, 문제가 발생했다는 명백한 신호 없이 다운스트림의 모든 추론이 현실과 맞지 않는 잘못된 상태를 기반으로 진행됩니다.
이처럼 문제가 연쇄적으로 누적되는 현상이 바로 진정한 라스트 마일 문제입니다. 다음과 같은 일반적인 오류들은 모두 별다른 경고 없이 조용히 장애를 유발합니다:
- 잘못된 태그 스타일: 특정 모델의 태그 스타일에 맞춰 조정된 파서는 태그를 전혀 사용하지 않는 모델의 툴 호출을 그대로 놓치게 됩니다. 호출이 실행되지 않으면서 에이전트 계획의 한 단계가 조용히 누락됩니다.
- 일치하지 않는 레이블: "arguments" 레이블을 예상하는 파서가 그 대신 "parameters" 레이블을 사용하는 페이로드를 만났을 때 반드시 에러를 내며 중단되는 것은 아닙니다. 그저 비어 있거나 잘못된 값 집합을 조용히 전달할 수 있으며, 이로 인해 툴이 잘못된 입력으로 실행되고 에이전트는 해당 단계가 성공한 것처럼 다음 작업을 진행하게 됩니다.
- 호출량의 차이: 응답당 하나의 툴 호출을 처리하도록 구축된 파서는 멀티플 호출 응답에서 첫 번째 호출만 가져오고 나머지는 조용히 누락시킬 수 있으며, 그 결과 에이전트가 3가지를 요청했더라도 1개의 결과만 받게 됩니다.
- 호출과 혼합된 추론: 모델이 추론과 툴 호출을 뒤섞고 파서가 둘 사이의 경계를 올바르게 구분하지 못하면, 실제 호출 대신 추론 텍스트에서 인수를 추출해 올 수 있습니다. 그러면 에이전트 계획의 다음 단계에 의도치 않은 값이 전달됩니다.
에이전트에게는 매 단계마다 어깨너머로 지켜보며 다음 단계로 넘어가기 전에 각 툴 호출이 올바르게 실행되었는지 확인해 주는 사람이 없습니다. 바로 그것이 에이전트를 사용하는 핵심 이유입니다. 또한 바로 이 점 때문에 시스템의 다른 어느 곳보다 라스트 마일에서 발생하는 조용한 장애가 훨씬 더 비싼 대가를 치르게 됩니다. 오류가 도미노처럼 혼란으로 번지는 것을 막을 방법이 없으며, 에이전트는 이제 완전히 잘못된 다단계 계획을 주의깊게 구축해 나갑니다.
한 번 성공한 후에도 조용히 장애가 발생하는 이유
비용이나 성능상의 이유로 다른 모델로 교체하면, 완벽하게 작동하던 에이전트가 아무런 경고 없이 툴 호출에 완전히 실패하거나 잘못된 데이터로 호출하기 시작할 수 있습니다. 시스템이 완전히 중단된 것은 아니므로 로그에는 명백한 오류로 보이는 내용이 없을 가능성이 높습니다. 계획에 따라 동작하는 대신 잘못된 조치를 조용히 실행했거나 아무런 조치도 취하지 않았을 뿐입니다.
이미 사용 중인 모델의 업데이트도 마찬가지 문제를 일으킬 수 있습니다. 즉, 모델이 자체 툴 호출의 형식을 약간만 변경해도 이전 형태에 맞춰 하드코딩되었던 파서는 업데이트가 배포되는 순간 오류를 일으킵니다. 이후에 실행된 3~4개의 에이전트 단계 밑에 묻혀버려, 마치 완전히 다른 곳에서 발생한 것처럼 장애가 나타날 수 있습니다.
서빙 단계에서 해결해야 할 과제
모든 서빙 엔진은 각 모델이 생성하는 툴 호출 형식을 해석할 수 있어야 하며, 모델 버전이 변경되어도 장애가 발생하지 않을 만큼 지능적이어야 합니다. 서빙 엔진은 다음을 수행할 수 있어야 합니다:
- 태그 기반, JSON 기반, 특수 토큰 변형을 포함하여 각 모델 패밀리의 네이티브 툴 호출 형식을 인식하고 올바르게 파싱
- 단일 형태를 가정하는 대신 필드 이름의 차이(
arguments와parameters등)를 정규화 - 첫 번째 호출뿐만 아니라 단일 응답에 포함된 멀티플 툴 호출 처리
- 인수를 추출하기 전에 실제 툴 호출에서 추론 텍스트 분리
- 모델 버전 변경 전반에서 정확성을 유지하여 업스트림 모델 업데이트로 인해 이에 의존하는 파이프라인에 조용히 장애가 발생하는 일 방지
이는 모두 에이전틱 시스템에 필수적인 요소입니다. 이는 모델이 변경되어도 계속 정상 작동하는 에이전트와, 다음에 누군가가 디펜던시를 업그레이드했을 때 해야 할 일을 조용히 멈춰버리는 에이전트의 차이입니다.
현재 여러분의 팀에서는 에이전틱 파이프라인의 툴 호출 신뢰성을 어떻게 관리하고 계신가요? 여러분의 경험과 의견을 들려주세요. Red Hat AI의 새로운 소식과 향후 로드맵을 살펴보세요!
리소스
엔터프라이즈 조직을 위한 AI 시작하기: 입문자를 위한 가이드
저자 소개
Grace Ableidinger is an AI Engineer and Developer Advocate at Red Hat based in Raleigh, NC. She is passionate about inference optimization, through open-source projects, like vLLM and llm-d, and finding the intersection of AI with high-impact industries. She is dedicated to building communities and resources that empower people to use AI to build a better world.
Sawyer Bowerman is an AI Developer Advocate on Red Hat’s AI team based in Boston, MA. He specializes in high-performance model serving and inference, focusing on scaling open source ecosystems like vLLM and llm-d to make large language models more efficient and accessible for developers. He is dedicated to bridging the gap between raw model performance and real-world developer productivity through open-source innovation.
유사한 검색 결과
OCR을 넘어서: GroundX와 Red Hat OpenShift AI로 98% 청구 정확도 달성
AI 에이전트 프레임워크만으로는 충분하지 않은 이유: 프로덕션 환경에서 누락된 7가지 플랫폼 기능
Can we trust AI agents in the enterprise?
Can agentic AI patch the internet?
채널별 검색
오토메이션
기술, 팀, 인프라를 위한 IT 자동화 최신 동향
인공지능
고객이 어디서나 AI 워크로드를 실행할 수 있도록 지원하는 플랫폼 업데이트
오픈 하이브리드 클라우드
하이브리드 클라우드로 더욱 유연한 미래를 구축하는 방법을 알아보세요
보안
환경과 기술 전반에 걸쳐 리스크를 감소하는 방법에 대한 최신 정보
엣지 컴퓨팅
엣지에서의 운영을 단순화하는 플랫폼 업데이트
인프라
세계적으로 인정받은 기업용 Linux 플랫폼에 대한 최신 정보
애플리케이션
복잡한 애플리케이션에 대한 솔루션 더 보기
가상화
온프레미스와 클라우드 환경에서 워크로드를 유연하게 운영하기 위한 엔터프라이즈 가상화의 미래