안녕하세요, KT AX Data Lab에서 AI모델/Agent 품질평가를 담당하고 있는 김도영, 오동규, 이아현, 권민지, 이채정입니다.

최근 AI 모델은 단순 질의응답을 넘어 사용자의 목적을 해석하고 계획을 수립하며, 적절한 도구를 활용해 과업을 수행하는 Agentic AI 형태로 빠르게 고도화되고 있습니다. 이에 따라 평가 체계 역시 정답 일치 여부만을 확인하는 단발성 검증을 넘어, 다단계 상호작용 속에서의 지시 이행 능력과 판단의 적절성을 종합적으로 평가하는 방향으로 전환될 필요성이 커지고 있습니다.

이러한 변화에 선제적으로 대응하고자, 저희 팀은 지난 2월부터 4월까지 약 3개월간 캐나다 Vector Institute가 주최한 Agentic AI Evaluation Bootcamp에 참여했습니다. 글로벌 AI 연구기관 및 다양한 참여자들과 최신 Agentic AI 평가 방법론을 함께 학습하고 토론하며, 향후 Agentic AI 평가 체계를 보다 정교하게 설계하기 위한 인사이트를 확보하고자 했습니다.

이 글에서는 Bootcamp를 통해 학습한 평가 방법론과, 이를 실제 Agent 평가에 적용한 사례를 소개합니다.

프로그램 개요: Vector Institute와 Agentic AI Evaluation Bootcamp

이번 Bootcamp를 주최한 Vector Institute는 캐나다를 대표하는 AI 연구기관입니다. 2017년 캐나다 온타리오주와 민간기업의 투자로 설립된 비영리 기관으로, 딥러닝의 선구자인 제프리 힌튼(Geoffrey Hinton) 토론토대학교 교수가 공동 설립자이자 수석자문관으로 참여하고 있습니다. 머신러닝·딥러닝 분야에 특화된 300여 명 규모의 전문 인력을 보유하고 있으며, AI 연구와 산업 적용을 연결하는 세계적인 연구기관으로 평가받고 있습니다.

저희가 참여한 Agentic AI Evaluation Bootcamp는 실제 업무 환경에서 AI Agent의 성능을 어떻게 평가할 것인지에 초점을 둔 프로그램입니다. 최근 AI Agent는 단순 질의응답을 넘어 작업을 계획하고, 도구를 활용하며, 다양한 애플리케이션과 상호작용하는 형태로 발전하고 있습니다. 이에 따라 기존의 단일 응답 중심 평가만으로는 Agent의 실제 수행 능력을 충분히 판단하기 어려워지고 있습니다.

이번 Bootcamp에서는 이러한 변화에 맞춰 Agentic AI 평가의 핵심 개념과 평가 프레임워크를 학습하고, 이를 실제 평가 환경에 적용해 보는 과정을 진행했습니다.

Learn Phase: Agent 평가의 개념부터 파이프라인 설계까지

Agent 평가의 필요성

Agent 품질을 결정하는 4가지 핵심 요소

Agent 품질 평가 파이프라인

Golden Dataset 구축

평가 방식 및 3가지 Grader 유형

Build Phase: 3일간 에이전트 설계부터 평가 파이프라인 구축까지

Day 1: 평가 데이터셋 구축 및 관측 환경 확보

• 데이터 파이프라인 구축: HRM8K에서 문항·정답을 추출하고, Agent가 바로 처리할 수 있는 입력/출력 형식으로 정제했습니다.
• Langfuse 데이터셋 업로드: 평가를 체계적으로 관리하기 위해 Langfuse를 관측성(Observability) 플랫폼으로 도입했습니다. 평가용 데이터셋을 Langfuse에 업로드함으로써 이후 모든 평가 실험을 일관된 기준 위에서 수행할 수 있는 기반을 마련했습니다. 대량 업로드 시 발생하는 한도(Limit) 오류에 대비해 청크 단위 분할 및 재시도(Retry) 로직으로 업로드 안정성을 확보했습니다.
• Langfuse 내 평가 환경 구축: 각 데이터에 고유 ID를 부여하고 기대 출력(Expected Output)을 정의하여, 데이터셋 기반의 오프라인 평가와 Langfuse 내 평가 실행을 일관된 기준으로 수행할 수 있는 환경을 구성했습니다.

*Langfuse란 Agent의 실행 과정을 단계별로 추적(Trace)하고, 실험 단위를 표준화하여 재현 가능한 평가 실행(Run)과 결과 비교 분석을 가능하게 하는 플랫폼 입니다.

Day 2: 에이전트 아키텍처 설계 및 구축

2일 차에는 Agent의 문제 해결 방식을 구조적으로 설계했습니다. 단순한 순차 실행을 넘어, Agent의 자율적 판단과 추론 과정을 외부에서 관찰 가능(Observable)하게 만드는 설계에 집중했습니다.

쌍둥이 문항 생성 Agent의 동작 흐름은 크게 두 단계로 구성됩니다. 먼저 원본 문항에서 핵심 개념을 추출하고, 이를 기반으로 쌍둥이 문항을 생성합니다. 각 단계를 분리함으로써 단계별 품질을 독립적으로 검증할 수 있는 구조를 갖췄습니다.

• 2-Step Pipeline 설계: '핵심 개념 추출(Concept Extraction)'과 '유사 문항 생성(Generation)'으로 단계를 분리하여, Agent가 논리적 순서에 따라 사고하도록 설계하고 단계별 품질 게이트를 형성했습니다.
• 자율적 도구 활용 (Concept Extraction): 핵심 개념 추출 단계에서는 모델이 스스로 검색 쿼리를 생성하고 Google Search 도구로 외부 지식을 보강합니다. 이를 통해 모델이 학습 데이터에만 의존할 때 발생할 수 있는 오류(할루시네이션)를 방지하고, 정확한 핵심 개념 요약을 도출하도록 설계했습니다.
• 추론 기반 문항 생성 (Generation): 추출된 핵심 개념을 바탕으로, 원본 문항의 난이도와 핵심 원리는 유지하되 상황과 수치를 창의적으로 변형하는 쌍둥이 문항 생성 과업을 수행합니다.
• 관측성(Observability) 설계: Agent의 추론 흐름(Trace)을 체계적으로 분석할 수 있도록 계층적 추적 구조를 설계하고, 도구 사용 여부·검색어 결정 등 모든 사고 과정이 Langfuse에 일관된 형태로 기록되도록 Agent 코드에 반영했습니다. 이를 통해 최종 결과물뿐 아니라 그 결과가 어떤 과정을 통해 생성되었는지 추후 분석이 가능하도록 했습니다.

3일 차에는 Langfuse에 축적된 Agent 추론 흐름(Trace) 데이터를 기반으로 Agent 품질을 평가하는 지표를 정의하고, 이를 정량적으로 산출·관리하는 자동화 평가 체계를 구축했습니다.

• 루브릭 설계: 단순 정답 여부를 넘어 논리적 일관성, 정보의 충분성, 개념 보존 여부 등 6가지 품질 지표를 정의하고, 이를 기반으로 LLM-as-a-Judge 평가 환경을 구성했습니다.
• 트레이스 기반 메트릭 분석: 최종 답변의 품질뿐만 아니라 툴 호출 횟수, 실행 지연 시간(Latency), 토큰 비용 등을 함께 측정하여 Agent의 수행 효율성을 종합적으로 분석했습니다.

Final Deck: 실제 Multi-Agent 시스템의 단계별 평가 적용기

평가 대상 및 프로세스

이번 평가는 팀에서 개발한 쌍둥이 문항 생성 Agent를 대상으로, Bootcamp에서 학습한 Agent Evaluation 방법론을 실제 시스템에 적용한 사례입니다.

해당 Agent는 사용자 입력을 기반으로 의도를 분석하고, 필요 시 업로드된 문항 이미지를 파싱해 필요한 정보를 추출한 뒤, 선택된 참조 문항을 기반으로 쌍둥이 문항을 생성하는 구조로 동작합니다. 단일 모델이 아니라 Orchestrator가 여러 Sub-Agent를 제어하는 Multi-Agent 아키텍처로 구성되어 있으며, 각 단계에서 다양한 의사결정이 이루어집니다.

이러한 구조적 특성을 고려하여, 단순히 최종 응답의 품질만을 확인하는 방식이 아니라 Agent 내부의 동작 과정을 단계별로 분리하여 평가하는 접근 방식을 적용했습니다.

전체 평가 프로세스는 아래 4단계로 구성했으며, 각 단계는 Agent의 동작을 보다 정밀하게 이해하고 개선하기 위한 목적으로 설계되었습니다.

① 평가 Scope 정의 → ② Trace 환경 설정 → ③ 평가 데이터셋 구축 → ④ 평가 수행

• 전체 시스템 영역: 사용자 요청을 최종적으로 얼마나 잘 충족했는지를 응답 품질 기준으로 평가합니다.
  
• Orchestrator 레벨: 이미지 파싱 정확성, 사용자 의도 분류, 참조 문항 선택, 도구 호출 적절성을 각각 독립적인 평가 항목으로 정의했습니다.
  
• 문항 생성 모듈 / 지식 검색 모듈: 각각 문항 품질과 핵심 개념 추출의 적절성을 주요 평가 지표로 설정했습니다.
  

각 지표는 Routing, Tool Use 등 코드로 객관적 판별이 가능한 Deterministic 평가 영역과 응답 품질·적절성처럼 LLM-as-a-Judge를 활용하는 Non-Deterministic 평가 영역으로 구분했습니다. 이를 통해 Agent의 각 의사결정 단계가 전체 성능에 미치는 영향을 정밀하게 식별·분석할 수 있도록 평가 기준을 설계했습니다.

Agent 추론 흐름(Trace) 환경 설정 단계에서는 Agent의 실행 과정을 단계별로 추적할 수 있도록 Langfuse 연동 환경을 구성했습니다.

Orchestrator 및 각 Sub-Agent의 호출 과정, 입출력 값, 중간 결과, 도구 호출 시 사용된 파라미터를 모두 기록함으로써, 단순히 결과만 확인하는 것이 아니라 어떤 과정과 상태 변화를 통해 결과가 생성되었는지 추적할 수 있도록 했습니다. 이를 통해 일반적인 Black-box 형태의 평가에서 벗어나, 문제 발생 지점을 정확히 파악할 수 있는 Glass-box 기반 평가가 가능해졌습니다.

평가 데이터셋 구축 단계에서는 실제 Agent 실행 과정에서 수집한 Agent 추론 흐름(Trace)을 기반으로, 각 평가 지표별 Judge 프롬프트의 타당성과 일관성을 검증할 수 있는 골든 데이터셋을 구축했습니다.

각 데이터는 사용자 입력뿐만 아니라 기대되는 의도 분류 결과, 적절한 참조 문항, 핵심 키워드, 선택되어야 할 도구까지 포함하도록 설계했습니다. 이를 통해 각 평가 항목에 대해 Judge 프롬프트가 의도한 기준대로 동작하는지 검증할 수 있었습니다.

또한 실제 Agent 추론 흐름(Trace) 로그를 기반으로 다양한 케이스를 수집하여, 정상 시나리오 뿐만 아니라 오류 가능성이 높은 시나리오(예를 들어 이미지 파싱 실패, 의도 분류 불명확, 참조 문항 미선택 등의 케이스)까지 포함시켰습니다. 이를 활용해 평가 프롬프트를 반복적으로 보정·최적화함으로써, Agent의 각 단계별 성능을 보다 일관되고 정밀하게 평가할 수 있는 기반을 마련했습니다.

마지막 평가 수행 단계에서는 전체 Trace를 대상으로 평가 요소별 단위 평가와 전체 시스템 End-to-End 평가를 병행했습니다.

• Deterministic 평가: Exact Match 기반의 정량 평가로 정확도를 측정했습니다.
  
• LLM-as-a-Judge 평가: 골든 데이터셋으로 사전 최적화된 지표별 평가 프롬프트를 활용하여 응답의 품질과 적절성을 평가했습니다.
  
• 서비스 안정성 평가: Agent의 서비스 로직에 부합하지 않는 요청에 대해 적절한 거절 응답 또는 재질의 유도가 이루어지는지를 함께 검증했습니다. 단순 생성 성능뿐만 아니라 서비스 안정성 측면까지 평가 범위에 포함한 것입니다.
  

추가로 Langfuse를 활용해 오프라인 평가와 실시간 온라인 평가를 모두 수행할 수 있음을 확인했습니다. 오프라인 환경에서는 다량의 Trace 기반 데이터셋을 활용해 품질과 성능을 분석하고, 온라인 환경에서는 실시간으로 누적되는 Agent 동작 로그를 기반으로 지속적인 평가와 모니터링이 가능하도록 구성했습니다. 

이를 통해 정적인 평가에 그치지 않고, 실제 서비스 운영 환경에서도 Agent 성능을 지속적으로 관찰하고 개선할 수 있는 기반을 마련하였습니다.

이번 Bootcamp와 PoC 적용 과정에서 가장 크게 확인한 것은, 신뢰할 수 있는 Agent를 구축하기 위해서는 체계적인 평가 구조가 반드시 함께 설계되어야 한다는 점입니다.

Agent는 단일 응답을 생성하는 모델과 달리, 여러 단계의 판단과 도구 사용을 거쳐 결과를 만들어냅니다. 따라서 최종 결과만 확인하는 방식으로는 Agent의 품질을 충분히 이해하기 어렵습니다. 어떤 단계에서 의사결정이 이루어졌는지, 도구는 적절히 활용되었는지, 오류가 발생했다면 어느 지점에서 문제가 생겼는지를 추적할 수 있는 평가 구조 자체가 필요합니다.

저희 팀은 이번 경험을 바탕으로, 실제 업무 환경에 적합한 Agent 평가 지표와 프로세스를 지속적으로 고도화하며 신뢰할 수 있는 Agentic AI 품질 평가 체계를 발전시켜 나가겠습니다.