KT의 정산 업무는 다양한 서비스 이용 데이터와 청구·수납 정보를 기반으로 수행되는 고정밀 운영 영역입니다. 특히 기준 정보의 정확성과 데이터 정합성이 중요한 업무 특성상, 상품 정책 변경이나 신규 서비스 반영 과정에서는 문서·시스템·운영 데이터 간의 일관성을 유지하는 것이 핵심 과제로 작용합니다. 기존에는 사업 부서의 요청사항을 기반으로 개발자가 시스템 반영 기준을 설계하고 운영자가 이를 시스템에 등록하는 방식으로 검증 프로세스가 운영되었습니다. 그러나 여러 단계의 검토 과정이 수작업 중심으로 이루어지다 보니 요구사항 해석 차이나 데이터 누락 등 운영 리스크를 최소화하기 위한 검증 체계 고도화의 필요성이 지속적으로 제기되어 왔습니다.

이러한 환경에서는 단순 반복 자동화를 넘어, 문서와 데이터, 시스템 간 관계를 이해하고 검증 흐름을 체계적으로 수행할 수 있는 새로운 접근 방식이 필요했습니다. 이에 KT는 정산 도메인의 검증 프로세스를 지원하기 위한 ‘정산 Revenue Assurance Agent(이하 RA Agent)’를 구축했습니다. 본 글에서는 복잡한 정산 검증 업무를 보다 안정적으로 수행하기 위해 적용한 멀티 에이전트 기반 아키텍처와 엔터프라이즈 환경에서의 설계 방향을 소개하고자 합니다.

효율적인 정산 검증 체계를 구축하기 위해서는 ‘무엇을 어떤 기준으로 검증할 것인가’에 대한 정의가 선행되어야 합니다. RA Agent는 데이터의 특성과 업무 맥락에 따라 검증 항목을 체계적으로 분류하고, 다양한 유형의 검증 규칙을 조합하여 적용하도록 설계되었습니다.

우선 정산 방식, 정산 요율, 수수료 적용 여부 등 기준 정보성 데이터를 구분하고, 운영 안정성에 중요한 영향을 줄 수 있는 항목을 핵심 검증 대상으로 설정했습니다. 이를 기반으로 다음과 같은 3단계 검증 체계를 구성했습니다.

이러한 검증 규칙은 Excel, Word 문서, SQL, 운영 데이터베이스 등 서로 다른 형태의 데이터와 시스템 전반에 일관되게 적용되어야 했습니다. 특히 대규모 컨텍스트를 단일 모델에 집중시키는 방식은 응답 지연이나 비결정적 결과 가능성을 높일 수 있기 때문에, RA Agent는 역할을 분리한 멀티 에이전트(Multi-Agent) 구조를 채택했습니다. 각 에이전트는 특정 검증 영역만 담당하며, 중앙 오케스트레이터의 통제 아래 단계적으로 협업하도록 설계했습니다.

RA Agent는 단순히 여러 에이전트를 연결하는 구조를 넘어, 안정적인 검증 흐름과 데이터 일관성을 유지하기 위한 아키텍처 중심으로 설계되었습니다. 이를 위해 다음 세 가지 방향을 핵심 원칙으로 수립했습니다.

• 품질 관문(Quality Gate)
• 결정론적 제어(Deterministic Control)
• 상태 관리 및 복원력(Resilience)

시스템 초기 단계에서 데이터 품질을 검증하지 않으면 이후 단계에서도 동일한 오류가 반복적으로 전파될 수 있습니다. 이를 방지하기 위해 파이프라인 초기에 품질 관문(Quality Gate)을 배치했습니다.

• 구조화된 데이터 추출: 상품 개발 요청서와 같은 비정형 문서를 단순 텍스트 수준으로 처리하지 않고, Structured Output 기반의 구조화된 JSON 형태로 변환하여 검증 가능한 데이터 형태로 관리했습니다.
• 자체 룰 엔진(Rule Engine) 검증: 추출된 데이터는 내부 검증 규칙과 비교하여 필수 항목 누락 여부 및 규칙 충족 여부를 확인합니다.
• 조기 종료(Early Exit): 초기 검증 단계에서 중요한 누락이나 검토가 필요한 항목이 발견될 경우, 이후 단계를 진행하지 않고 검토 대상으로 분류하여 불필요한 후속 처리를 최소화하도록 구성했습니다. 검증을 통과한 데이터는 이후 단계에서 공통 기준 정보(Shared Context)로 활용됩니다.

멀티 에이전트 환경에서는 LLM의 자율성과 시스템 제어 간 균형이 중요합니다. RA Agent는 이를 위해 ‘Plan-and-Execute’ 패턴을 기반으로 한 구조를 적용했습니다.

• 동적 플래닝 (Dynamic Planning): 오케스트레이터는 사용자 요청과 현재 상태를 기반으로 필요한 검증 단계와 실행 순서를 계획합니다.
• 결정론적 실행 (Deterministic Execution): 실제 실행 단계에서는 사전에 정의된 흐름에 따라 검증을 수행하여, 실행 과정의 일관성과 예측 가능성을 확보했습니다. 이를 통해 자율적 추론의 장점은 활용하면서도, 운영 환경에서는 안정적인 실행 흐름을 유지할 수 있도록 설계했습니다.

멀티 에이전트 기반 시스템에서는 단계 간 상태 관리와 예외 처리 정책이 중요합니다.

• 단일 상태 객체 관리: 실행 계획, 태스크 결과, 대화 이력, 최종 결과 등을 단일 상태 객체로 관리하여 각 단계 간 데이터 흐름을 일관되게 유지했습니다.
• 세션 영속화(Persistence): 세션 상태를 저장함으로써 네트워크 단절이나 중단 상황에서도 이전 상태를 기반으로 작업을 이어갈 수 있도록 구성했습니다.
• 정교한 스킵 정책(Skip Policy): 검증 과정 중 특정 단계에서 검토가 필요한 이슈가 발견될 경우, 이후 단계를 유연하게 조정하여 보고 중심 흐름으로 전환할 수 있도록 설계했습니다.

RA Agent는 중앙 오케스트레이터(Orchestrator)의 제어 아래, 전문 역할을 수행하는 서브 에이전트들이 단계적으로 검증을 수행하는 구조로 구성됩니다.

1. 중앙 관리: 오케스트레이터 (Orchestrator)

오케스트레이터는 전체 실행 흐름을 관리하며 다음 4단계로 동작합니다.

• Intent Parsing (의도 분석): 사용자 요청과 현재 상태를 분석하여 검증 목적과 작업 유형을 분류합니다.
• Planning (계획 수립): 분석 결과를 기반으로 필요한 서브 에이전트와 실행 순서를 정의합니다.
• Execution (실행): 계획된 흐름에 따라 각 에이전트를 순차적으로 실행합니다.
• Aggregation (결과 집계): 각 단계의 결과를 통합하여 최종 검증 결과를 생성합니다.

2. 서브 에이전트 구성

• 상품 개발 요청 검증 (Requirement Analyst): 상품 개발 요청서를 구조화하고 필수 항목 및 규칙 충족 여부를 검증합니다. 검증 결과는 공통 기준 정보로 활용됩니다.
•  IA 설계 검증 (IA Validator): IA 설계 문서와 기준 정보를 비교하여 매핑 오류나 누락 여부를 확인합니다.
• SQL 검증 (Query Expert): SQL 로직의 구조와 검증 대상 간 관계를 분석하여 운영 반영 전 점검을 수행합니다.
• 데이터 정합성 검증 (Data Auditor): 운영 환경의 데이터와 기준 정보를 비교하여 정합성을 확인합니다.
• 보고서 생성 (Report Writer): 검증 결과와 검토 필요 항목을 종합하여 사용자 중심의 보고서를 생성합니다.

표준 기반 연결성과 상호운용성

MCP 기반 레거시 통합

RA Agent는 MCP(Model Context Protocol) 기반 인터페이스 구조를 적용하여 다양한 데이터 소스 및 시스템과의 연계를 표준화했습니다. 이를 통해 새로운 시스템 연동 시 인터페이스별 개별 대응 부담을 줄이고, 확장 가능한 구조를 확보했습니다.

A2A 기반 에이전트 협업

RA Agent는 외부 에이전트 및 전사 업무 시스템과의 연계를 위해 A2A(Agent-to-Agent) 방식의 인터페이스 구조를 적용했습니다. 상위 에이전트는 사용자 요청을 해석한 뒤 RA Agent에 검증 작업을 요청하며, RA Agent는 이를 기반으로 내부 검증 파이프라인을 수행합니다. 다만 내부 서브 에이전트 간 통신은 공통 상태 객체 기반의 오케스트레이션 구조를 사용하여 불필요한 통신 오버헤드를 최소화했습니다.

운영 최적화: 관측 가능성과 모델 라우팅

LLMOps 기반 모델 라우팅 전략 수립

운영 과정에서는 LangSmith 기반 관측 체계를 활용하여 단계별 응답 시간과 토큰 사용량을 분석했습니다. 분석 결과를 기반으로, 빠른 판단과 제어가 필요한 오케스트레이터에는 경량 모델을 적용하고, 복잡한 문서 분석과 데이터 검증이 필요한 영역에는 고성능 모델을 선택적으로 적용하는 비대칭 모델 라우팅 전략을 구성했습니다. 이를 통해 전체 응답 속도와 운영 효율성을 함께 고려한 구조를 구현했습니다.

SSE 스트리밍을 통한 실시간 피드백 경험

검증 과정이 단계적으로 수행되는 특성을 고려하여 SSE(Server-Sent Events) 기반 스트리밍 구조를 적용했습니다. 오케스트레이터는 각 단계 완료 시 진행 상태와 중간 결과를 순차적으로 전달하며, 사용자는 전체 작업 완료 이전에도 현재 진행 상황을 확인할 수 있습니다.

마치며: 엔터프라이즈 AI 에이전트의 핵심은 아키텍처

RA Agent는 정산 검증 업무를 지원하기 위한 AI 에이전트 시스템으로, 멀티 에이전트 구조와 결정론적 실행 방식을 결합하여 안정적인 검증 흐름을 구현하는 데 초점을 맞췄습니다. 특히 품질 관문 기반 검증 체계, 상태 관리 중심 오케스트레이션, 표준 기반 인터페이스 구조 등을 통해 엔터프라이즈 환경에서 요구되는 안정성과 확장성을 함께 고려했습니다.

이번 프로젝트는 특정 업무 영역의 검증 자동화에서 출발했지만, 향후 다양한 엔터프라이즈 AI 에이전트 환경으로 확장 가능한 구조적 기반을 제시했다는 점에서도 의미가 있습니다. 앞으로도 RA Agent를 포함한 다양한 AI 기반 업무 지원 체계가 고정밀 데이터 검증이 필요한 영역에서 실질적인 운영 효율성과 안정성을 제공할 수 있기를 기대합니다.