생성형 AI 기술은 이제 단순한 답변 생성을 넘어, 복잡한 문제를 스스로 계획하고 도구를 사용해 해결하는 'Agentic(에이전트형)'단계로 진화하고 있습니다. 이러한 기술적 흐름 속에서 KT A-Search팀은 지난 1년간 Microsoft Research Asia(MSRA)와 함께, Agentic RAG를 주제로 공동 연구를 진행해 왔습니다. 

이번 베이징 워크샵은 그동안 A-Search팀이 수행한 '미디어 도메인 특화 Reasoning Model' 연구 내용을 공유하고, 향후 발전 방향을 논의하는 자리였습니다. 공동 연구 과정에서 연구한 Agentic RAG의 핵심 메커니즘과 이를 구현하기 위한 과정, 그리고 실제 검증 단계에서 얻은 기술적 인사이트를 정리해 드립니다.

1. Agentic RAG의 핵심: Planning과 Action

이번 연구의 중심이 된 Agentic RAG는 기존 RAG(Retrieval-Augmented Generation)와는 근본적으로 다른 접근 방식을 취합니다. 기존 RAG가 '질문 → 검색 → 생성'의 선형적 프로세스라면, Agentic RAG는 Planning / Reasoning (계획)과 Tool(도구) 선정 및 Action / Execution(실행)의 순환 구조를 통해 작동합니다.

KT와 MSRA의 공동 연구는 바로 이 Planning과 Action이 유기적으로 작동하도록 하는 Reasoning Model을 미디어 도메인에서 구현하는 데 초점을 맞췄습니다.

2. 연구 목표: Capabilities-integrated Agent 가능성 검증

올해 MSR 공동연구에서 우리 팀이 설정한 핵심 목표는 당장의 상용화가 아니었습니다. 그보다는 '상용 환경에 적용 가능한 Capabilities-integrated Agent의 가능성을 검증하는 것'에 무게를 두었습니다. 특히, 미디어 도메인은 데이터가 방대하고 사용자 의도가 다양하기 때문에, 이론적인 모델이 실제 환경에서도 효과적으로 작동하는지 확인하는 과정이 필수적이었습니다. 이를 위해 문제 정의부터 데이터셋 구축, 도구 설계, 모델 학습 및 평가까지 전 과정을 체계적으로 진행하며 기술적 타당성을 검증했습니다. 이 검증 과정에서 저희는 Reasoning Model 고도화를 위해 필수적인 세 가지 핵심 인사이트를 도출했습니다.

3. KT 연구 성과: 검증 과정에서 얻은 3가지 핵심 인사이트

첫 번째 인사이트는 "강화학습(Reinforcement Learning)이 Capabilities-integrated Reasoning Model의 성능을 얼마나 실질적으로 향상시킬 수 있는가?"라는 근본적인 질문에서 출발했습니다.

기존의 지도 미세 조정(SFT) 기반 학습만으로는, 모델이 도구를 ‘언제’, ‘어떻게’ 활용해야 하는지에 대해 충분히 정교한 판단을 내리기 어렵다는 분명한 한계가 존재했기 때문입니다. 이에 따라 우리 팀은 SFT 이후 강화학습을 추가로 적용했을 때, 모델의 전반적인 성능이 실제로 개선되는지를 검증하는 실험을 설계하였습니다. 특히 Agentic RAG의 특성을 고려하여, 실험 환경을 ‘Single-turn’과 ‘Multi-turn’으로 나누어 강화학습의 효과를 심층적으로 비교 분석하였습니다.

실험을 통해 SFT만 적용한 경우와 SFT 이후 강화학습을 추가 적용한 경우를 비교했을 때, 강화학습이 적용된 모델의 성능이 유의미하게 개선되는 것을 확인할 수 있었습니다. 특히 Multi-turn 강화학습 환경에서는 Qwen3 계열 모델이 크기에 따라 약 5% 이상 성능이 추가로 향상되는 괄목할 만한 결과를 보였습니다.

이러한 성능 향상은 모델이 강화 학습 과정에서 겪는 근본적인 변화에 기인합니다. 강화학습 과정에서 모델은 단순히 정답 텍스트를 따라 생성하는 것을 넘어, 보상을 최대화하는 방향으로 자신의 행동을 스스로 조정하게 됩니다. 이 과정에서 어떤 도구를 언제 호출해야 하는지에 대한 판단 능력이 점진적으로 개선되었고, 그 결과 개별 응답의 정확도뿐만 아니라 전체적인 문제 해결 관점에서도 훨씬 더 안정적인 성능을 확보할 수 있었습니다.

또한 주목할 점은 Single-turn 환경보다 Multi-turn 강화학습 환경에서 성능 향상 폭이 훨씬 크게 나타났다는 사실입니다. 이는 모델이 여러 턴에 걸친 상호작용을 수행하며 다양한 상황과 선택지를 경험했고, 이를 통해 단발성 대응이 아닌 보다일반화된 행동 전략을 학습할 수 있었기 때문으로 해석됩니다. 이러한 결과는 복잡한 상호작용이 요구되는 Agentic 환경에서 Multi-turn 강화학습이 성능 고도화를 위한 필수적인 학습 방식이 될 수 있음을 시사합니다.

두 번째 인사이트를 논하기에 앞서, 이번 연구에서 핵심적으로 검증하고자 했던 Holdout Loss기반 데이터 선별(Data Selection)의 개념을 먼저 짚고 넘어갈 필요가 있습니다. 이 방법론은 "모든 학습 데이터가 모델 성능 향상에 동일하게 기여하지 않는다"는 전제에서 출발합니다. 구체적으로, 특정 데이터를 학습시켰을 때 별도로 구축해 둔 고품질의 검증 데이터셋(Holdout Set)에 대한 손실(Loss)이 얼마나 감소하는지를 측정합니다. 즉, Holdout Set을 일종의 '나침반'으로 삼아, 목표하는 도메인의 성능에 실질적으로 기여하는 유익한 데이터만을 선별해 학습 효율과 성능을 극대화하려는 기법입니다.

(참고: Holdout Loss의 상세 개념은 관련 논문 Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning 을 통해 확인하실 수 있습니다.)

‘Holdout Loss’라는 데이터 큐레이션(Data Curation) 기법을 효과적으로 적용하기 위해서는, 기준이 되는 Holdout Set을 어떻게 구성하느냐가 결정적으로 작용합니다. 우리 팀은 MSR과의 연간 공동연구를 통해 Downstream Task의 성능을 극대화하기 위한 데이터 큐레이션 방법론으로 Holdout Loss를 지속적으로 검증해 왔습니다. 이번 연구에서는 이 방법론이 미디어 도메인에서도 기존과 동일한 수준의 성능 향상을 이끌어낼 수 있을지 확인하고자 실제 적용 실험을 수행하였습니다.

그러나 실험 결과, 기대와는 달리 Holdout Loss를 적용했을 때 오히려 모델 성능이 소폭 감소하는 현상이 관측되었습니다.

모델 최종 답변 성능 (SFT) 최종 답변 성능 (SFT + Holdout Loss) Qwen3-8B 0.7014 0.6699 Qwen3-14B 0.7071 0.6686

이러한 결과는 Holdout Loss 기법 자체의 결함이라기보다는, 도메인 특성과 데이터 분포를 충분히 고려하지 않은 채 기법을 그대로 적용했을 때 발생할 수 있는 부작용을 보여주는 대표적인 사례입니다. 저희는 이 현상의 원인을 크게 두 가지 관점에서 분석했습니다.

• 분포적 유사성의 중요성

Holdout Set이 단순히 ‘고품질 데이터’라는 조건만으로는 충분하지 않습니다. 분석 결과, Holdout Set은 실제 테스트 데이터와의 분포적 유사성이 반드시 전제되어야 함을 시사합니다. 이번 실험에서는 Holdout Set의 자체적인 품질 확보에는 성공했으나, 실제 테스트 데이터와의 정합성을 충분히 반영하지 못했기에 성능 하락으로 이어진 것으로 판단됩니다.

• 도메인 데이터의 특수성

또 다른 관점에서는 미디어 도메인의 특성이 작용했을 가능성입니다. Holdout Loss 기법은 "학습 데이터 중 특정 샘플이 다른 샘플보다 Downstream 성능에 더 크게 기여한다"는 가정에 기반합니다. 그러나 미디어 도메인의 경우, 구축된 학습 데이터 전반이 이미 높은 관련성을 가지고 있어, 대부분의 데이터가 성능 개선에 고르게 기여하고 있었을 가능성이 큽니다. 즉, 인위적인 데이터 선별이 오히려 유의미한 정보의 손실을 초래했을 수 있습니다.

결론적으로 이번 실험을 통해 얻은 교훈은, Holdout Loss를 일반적인 만능 기법으로 적용하기보다는 도메인의 특성과 데이터 분포를 정밀하게 분석한 맞춤형 데이터 설계가 선행되어야 한다는 점입니다.

마지막으로 도출한 인사이트는 강화학습을 통해 모델의 행동을 변화시키고자 한다면, 그 목표가 보상 함수에 명확하고 구체적으로 반영되어야 한다는 점입니다. 그러나 실제 실험 결과, 강화학습을 적용한 이후에도 평균 도구 호출 횟수는 SFT만 적용한 경우와 비교해 크게 감소하지 않았습니다.

이러한 결과는 보상 설계의 관점에서 보면 매우 자연스러운 현상입니다. 이번 Multi-turn RL 실험 설계 시, 보상 함수는 (1) 최종 응답의 정확도와 (2) 포맷의 적절성만을 주요 보상 기준으로 삼았습니다. 반면, 도구 호출 횟수를 줄이거나 불필요한 호출을 억제했을 때 추가 보상을 주거나 페널티를 부여하는 요소는 포함되지 않았습니다.

결과적으로 모델 입장에서는 도구 사용을 줄여야 할 명확한 유인이 없었기 때문에, 정답을 맞히는 데 집중할 뿐 효율성을 높이는 방향으로는 행동 패턴이 변화하지 않은 것입니다.

이 경험을 통해, 강화학습은 단순히 모델의 정확도를 높이는 도구를 넘어, 효율성, 비용, 응답 지연 등 실제 서비스 환경에서 중요한 비즈니스 지표들을 제어할 수 있는 핵심 키가 될 수 있음을 확인했습니다. 다만 이를 위해서는 해당 목표들이 보상 함수에 정교하게 수식화되어 반영되어야 합니다. 향후 연구에서는 이러한 요소들을 통합적으로 고려한 보상 설계를 통해, 실험실 수준을 넘어 실제 서비스 환경에 최적화된 Reasoning Model을 개발할 수 있을 것으로 기대합니다.

 

[MSR 발표] 희귀 질환 시나리오를 통한 Multi-turn RL의 구현과 성과   

"Implementation and Outcomes of Multi-turn Reinforcement Learning through Rare Disease Scenarios"

발표자: Lei Song | Microsoft Research Asia

1. Multi-turn RL 학습 파이프라인의 최적화 및 기술적 개선

기존 공동연구에서 사용된 ‘verl-tool’ 라이브러리는 강력한 기능을 제공하는 반면, 설정 요소가 많고 구조가 복잡하여 실제 연구에 활용하기에는 진입 장벽이 높은 편이었습니다. 이에 MSR팀은 Multi-turn 강화학습 실험의 편의성과 재현성을 높이기 위해 전체 학습 파이프라인을 단순화하는 코드 최적화 작업을 진행하였고, 이번 베이징 워크샵에서 그 완료된 결과물을 공유했습니다.

특히 MSR 측은 기존 라이브러리를 Multi-turn 환경에 그대로 적용할 경우, 일부 버그와 구조적 결함으로 인해 모델이 기대 성능에 도달하지 못한다는 사실을 발견했습니다. 가장 치명적인 문제는 Agent 기반 강화학습 과정에서 Inference(추론) 결과를 학습 데이터로 재사용할 때 발생하는 토큰 처리 관련 오류였습니다. MSR팀은 이러한 문제를 식별하여 코드 레벨에서 근본적인 수정을 완료했습니다. (해당 기술적 이슈에 대한 상세한 배경은 vLLM 공식 블로그에서 확인하실 수 있습니다.)

이번 워크샵에서는 희귀 질환(Rare Disease) 시나리오를 예제로 채택하여, 앞서 간소화하고 수정한 Multi-turn RL 코드가 실제 환경에서 어떻게 작동하는지 시연했습니다. 수정된 코드를 기반으로 강화학습을 수행한 결과는 매우 고무적이었습니다. 불과 4B 파라미터를 가진 소형 모델(Qwen3-4B)이 기존의 거대 모델들을 능가하는 성능을 보여주었기 때문입니다.

구체적인 실험 결과를 살펴보면, Validation Set 기준으로 Qwen3-4B 모델은 62%의 정확도를 기록했습니다. 이는 Qwen2.5-32B SFT 모델의 51.5%, 그리고 현존 최상위 모델인 GPT-4o의 45.5%를 모두 상회하는 수치입니다. 이 결과는 Multi-turn RL 환경에서 학습 파이프라인의 구조적 안정성이 모델의 최종 성능에 얼마나 결정적인 영향을 미치는지를 단적으로 보여주는 사례라 할 수 있습니다.

희귀 질환 시나리오를 기반으로 Reasoning Model을 개발하는 과정에서, MSR팀은 보상 함수 설계와 관련하여 두 가지 중요한 인사이트를 도출했습니다.

• 첫째, LLM-as-a-judge 방식의 신뢰성 문제입니다. 강화학습에서 모델의 정책(Policy)이 안정적으로 업데이트되려면 일관된 보상 신호가 필수적입니다. 그러나 평가자로 사용되는 LLM(LLM-as-a-judge)은 프롬프트의 미세한 설계 차이에도 평가 결과가 달라질 수 있는 민감성을 가집니다. 만약 평가의 일관성이 흔들리면, 학습 중인 모델은 어떤 행동이 실제로 올바른 것인지 판단하지 못하고 혼란을 겪게 되며, 이는 학습 실패로 이어질 수 있습니다.

• 둘째, 정교한 Reward Function 설계의 중요성과 Reward Hacking 현상입니다. 보상 함수가 모델의 학습 방향을 결정짓는 절대적인 기준임이 이번 실험에서 다시 한번 확인되었습니다. 이번 시나리오에서는 모델이 예측한 3개의 희귀 질환 후보 중 정답이 포함되면 보상을 주는 방식을 채택했습니다. 그러나 학습 결과, 모델은 진단 능력을 키우는 대신 ‘Reward Hacking(보상 해킹)’ 행동을 보였습니다. 즉, 제한된 3개의 예측 개수를 위반하고 더 많은 질병을 나열함으로써 정답이 포함될 확률을 인위적으로 높이려 한 것입니다. 이는 모델이 우리가 의도한 논리적 추론 전략이 아닌, 보상 함수의 허점을 공략하는 방향으로 최적화되었음을 의미합니다.

결론적으로, 이번 연구 과정은 강화학습 환경에서 보상 함수가 모델의 행동을 규정하는 가장 강력한 기제임을 증명했습니다. 따라서 우리가 원하는 정확한 행동을 유도하기 위해서는 예측 개수 제한 패널티 등을 포함하여 보상 함수를 훨씬 더 세밀하고 엄격하게 설계해야 한다는 교훈을 얻을 수 있었습니다.

의의 및 발전 방향

이번 베이징 워크샵은 Agentic RAG를 구현하기 위한 Reasoning Model의 가능성을 검증하고, 실제 구현 시 마주하게 될 기술적 난관(보상 설계, 데이터 분포 등)을 명확히 파악했다는 점에서 큰 의의가 있습니다.

KT A-Search팀은 이번 검증 과정을 통해 확보한 'Planning & Action' 모델링 노하우와 실험 데이터를 바탕으로, 사내 지식 검색 포털인 K-HUB를 Agentic RAG 기반으로 고도화할 계획입니다. 이를 통해 K-HUB가 단순히 정보를 찾아주는 것을 넘어, 복잡한 질의에 대한 정보를 스스로 계획하여 임직원들에게 더 높은 품질의 서비스를 제공하는 지능형 플랫폼으로 거듭나도록 발전시켜 나가겠습니다.

베이징에서 만난 AI의 미래: KT x MSR 공동 워크샵 2편 에서는, KT와 MSR의 Multimodal 및 Societal AI 연구 분야 발표에 대해 공유드리겠습니다. 감사합니다.