안녕하세요. KT에서 고객/유통플랫폼 개발을 담당하고 있는 곽내원입니다.

이 글에서는 가장 가까이서 고객을 맞이하는 KT고객센터 상담사가 상담 업무를 수행할 때 활용하는 AI 상담 Assist 서비스와 그 중 핵심 기능인 지식추천 Agent의 개발 과정을 상세히 소개하고자 합니다. PoC(Proof of Concept) 단계부터 시작하여 정확도 평가, 그리고 최종적으로 전국 고객센터에서 상용화에 이르기까지의 전반적인 과정을 다룰 예정입니다.

KT 고객센터는 전국 15개소의 센터에서 6,000여명의 상담사가 요금안내, 변경, 결합, 가입, AS 등 1 천여개 이상의 다양한 유형의 고객 문의를 처리하는 국내 최대규모의 고객센터로, 100번, 114번을 통해 인입되는 고객에게 다양한 방법과 채널(ARS, 음성상담, 채팅상담, AI보이스봇 지니 등)로 상담을 제공하고 있습니다.

또한, KT 고객센터는 이러한 다양한 방법과 채널을 제공함으로써 KMAC 주관의 한국산업 서비스품질지수(KSQI) 콜센터 부문에서 '14년 연속' 우수 콜센터로 선정되어 고객 서비스 품질의 우수성을 인정받고 있습니다.

이처럼 매일 수백만 건의 콜이 접수되는 가운데에도 KT 고객센터가 14년 연속으로 우수 콜센터로 인정받을 수 있었던 이유는 상담사들이 고객에게 뛰어난 상담 품질을 제공할 수 있도록 지원하는 시스템 덕분입니다. 이러한 시스템은 상담사들에게 필요한 정보와 도구를 제공하여 업무의 효율성을 높이고, 고객의 요구에 신속하게 대응할 수 있도록 돕고 있습니다.

그렇다면, 상담사들이 우수한 품질로 상담을 제공할 수 있도록 지원하는 이 시스템은 무엇이며, 어떤 기능들을 제공하고 있는지 살펴보겠습니다.

이 시스템은 KT고객센터 상담 업무에 대한 다양한 Assist 기능을 제공하며 상담사들이 상담 중 실시간으로 대화록을 확인하며 고객을 응대할 수 있도록 돕습니다. 또한, SR(Service Request) 추천 기능을 통해 상담 후 고객의 요청사항에 대한 응대 결과를 신속하게 기록할 수 있게 하여, 상담 전반에 걸쳐 효율적으로 활용되고 있습니다.

[주요 기능]

1. 실시간 대화록 표시 : 고객과 상담 간의 대화를 실시간으로 보여줌으로써 상담사가 필요한 정보를 즉시 확인하고, 보다 정확한 응대를 할 수 있도록 지원합니다.
2. 대화추천 기능 : 고객의 문의 유형에 따른 추천 답변과 관련 정보를 제공하여 상담사가 신속하게 적절한 대응을 할 수 있게 돕습니다.
3. SR 추천 기능 : 상담 종료 후 고객의 요청 사항에 대해 신속하게 상담 이력을 작성할 수 있는 기능을 통해 상담의 연속성을 강화합니다.
4. 지식추천 기능 : K-지존(KT 고객 응대 및 상품지식관리플랫폼) 지식 문서를 기반으로 한 질문에 대한 답변 기능을 제공하여 상담사가 필요로 하는 정보를 쉽고 빠르게 활용할 수 있도록 합니다.

이처럼 다양한 Assist 기능이 존재하지만, 이 글에서는 그 중에서도 특히 지식추천 Agent에 대해 자세히 다루고자 합니다. 지식추천 Agent는 상담사가 고객의 문의에 보다 신속하고 정확하게 대응할 수 있도록 설계된 핵심 기능으로, 상담 업무의 효율성을 높이는 데 중요한 역할을 하고 있습니다. 이 서비스의 구축 과정부터 동작 방식 그리고 현재 어떤 이점을 제공하고 있는지에 대해 자세히 살펴보겠습니다.

기존에도 지식 문서 추천 기능은 존재하였으나, 2019년에 구축된 이후로 추천 모델의 학습 및 고도화가 이루어지지 않았습니다. 그 결과, 상담사들은 대화 중 필요로 하는 지식 정보가 업데이트 되지 않아 고객의 문의에 대한 적절한 답변을 신속하게 찾는 데 어려움을 겪고 있었습니다. 이러한 상황은 고객 서비스의 질을 저하시킬 수 있으며, 상담사가 고객의 문의를 정확히 해결하기 위해 많은 시간을 소모하게 되는 원인이 됩니다.

따라서 상담사들이 쉽게 활용할 수 있는 지식 추천 기능의 필요성이 대두되었으며, 지식추천 Agent는 이러한 문제를 해결하고, 상담사들에게 보다 신속하고 효과적인 정보를 제공할 수 있도록 구상했습니다.

RAG

RAG란, "Retrieval-Augmented Generation"의 약자로, 주로 인공지능 분야에서 사용하는 기술입니다. 쉽게 말해, RAG는 LLM 특성인 Hallucination 문제를 감소시키고, 더 똑똑하게 정보를 처리하기 위해 LLM 모델의 응답을 생성하기 전에 신뢰할 수 있는 지식 베이스를 활용하여 효율성을 개선할 수 있는 프로세스입니다. 이제 RAG 기술의 주요 구성 요소에 대해 자세히 알아보겠습니다.

1) 정보 검색 (Retrieval)

사용자가 질문을 입력하면, 해당 질문과 관련된 정보를 데이터베이스나 문서에서 찾아냅니다. 이 과정에서는 다음과 같은 과정으로 진행이 됩니다.

먼저, 사용자의 질문을 기반으로 관련 자료들을 검색하고 검색된 자료 중에서 질문 벡터와 데이터베이스 내의 문서 벡터 간의 유사도를 계산하여, 가장 관련성이 높은 문서를 선택하는 과정을 거치게 됩니다. 이를 통해 사용자가 필요로 하는 정보를 보다 정확하게 제공할 수 있습니다.

2) 정보 생성 (Generation)

이 단계에서는 정보 검색 단계에서 선택된 문서를 바탕으로 자연스러운 문장을 생성하는 단계입니다. 이 과정에서는 검색한 정보와 문서를 조합하여 사용자의 질문에 대해 더 정확하고 유용한 답변을 생성하는 과정으로, 문장을 자연스럽고 일관성 있게 구성하여 사용자가 쉽게 이해할 수 있도록 합니다.

즉, RAG 기술은 단순히 정보를 찾는 데 그치지 않고, 이를 이해하고 요약하여 사용자가 쉽게 인지할 수 있는 형태로 제공하는 데 중점을 둡니다. 또한, 보다 신뢰할 수 있는 응답을 제공하여 LLM의 활용도를 극대화하며, 정보의 정확성과 효율성을 동시에 높이는 기술입니다.

기존의 추천 모델 기반 추천 기능에서는 새로운 문서가 생성되거나 수정된 경우, 이를 추천 모델에 학습시키지 않으면 추천이 불가능하여, 수시로 업데이트되고 추가되는 KT의 상품 지식과 상담 지식을 추천하는 데 많은 한계가 있었습니다.

이러한 문제점을 극복하기 위해, 다양한 지식을 실시간으로 반영하고 추천할 수 있도록 LLM(Large Language Model)과 RAG(Retrieval-Augmented Generation) 기술을 활용하여 지식추천 Agent를 개발하였습니다.

VectorDB

위 RAG 기술을 설명하며, 정보 검색 단계에서 관련 문서를 데이터베이스나 문서에서 찾아낸다고 표현했는데, VectorDB는 이 과정을 더욱 효과적으로 수행할 수 있도록 지원하는 데이터베이스의 일종으로, 주로 벡터 형태로 데이터를 저장하고 검색하는 데 특화되어 있습니다.

[벡터란 무엇인가?]

벡터는 수학에서 크기와 방향을 가진 수량을 의미합니다. 컴퓨터 과학에서는 주로 고차원 공간에서의 점(point)으로 생각할 수 있는데 예를 들어, "고양이"라는 단어를 벡터로 표현하면, 그것이 다른 단어들과의 관계를 수치적으로 나타내는 고차원 숫자 배열로 변환됩니다. 이를 임베딩(embedding)이라고 부릅니다.

[왜 벡터를 사용하는가?]

벡터는 비정형 데이터를 수치화하여 기계가 이해할 수 있도록 만들어 주고, 많은 양의 데이터(벡터 형태로 변환된)를 효율적으로 저장하도록 지원합니다.

또한, 사용자가 입력한 질문이나 이미지 등의 벡터를 통해 유사한 항목을 빠르게 찾아낼뿐만 아니라 기계 학습 모델을 사용해 유사도를 계산하여, 더 정밀한 검색 결과를 제공할 수 있습니다. 이러한 특성 덕분에 AI와 머신러닝 분야에서 매우 중요한 역할을 하고 있습니다.

지식추천Agent 구성도

2024년 초에는 AWS, MS Azure 등 Cloud 환경에서 제공하는 LLM 모델(GPT, Claude 등)별 토큰 수, 속도, 정확도 등을 검토하는 PoC 과정을 거친 후 AWS OpenSearch와 Bedrock LLM 모델을 기반으로 1차 파일럿(Pilot)을 수행했습니다. 이후 MS Azure 환경에서 KT랜딩존이 구축되어 Azure 기반 2차 파일럿을 진행함으로써 정확도 검증을 완료한 후, 시스템을 전국 고객센터로 확대하게 됐습니다.

 전체적인 일정은 2024년 2월 PoC를 시작으로, 2024년 12월까지 진행되었고, 해당 일정을 수행하며 겪은 고난과 역경을 어떻게 해결했는지 상세히 알아보겠습니다.

1차 파일럿은 2024년 8월부터 2024년 10월까지 약 2개월 간 약 100명의 전문 상담사를 대상으로 진행되었습니다. 이 과정에서 지식추천 Agent의 응답 결과에 대한 코멘트란을 통해 정답 및 활용도를 1점에서 3점으로 평가하였으며, 평균적으로 3점의 비율이 약 60% 수준으로 나타났습니다. 이는 저희의 기대에 미치지 못하는 결과였기에, 평가 세부 내용을 면밀히 분석하여 개선 방안을 도출했습니다. 

1점과 2점의 평가가 나온 원인을 면밀히 분석한 결과, 다음과 같은 문제점을 발견할 수 있었습니다.

• 사용자 가이드 미흡

챗봇 형태의 질문에 익숙하지 않은 사용자들이 질문을 입력하는 방식에 대한 명확한 가이드가 부족했습니다. 이로 인해 상담사들이 적절한 질문을 하지 못하였고, 그 결과 LLM의 응답 정확도와 활용도가 저하되었습니다. 사용자가 시스템을 효과적으로 활용하기 위해 필요한 정보와 방향성이 부족했던 것이 주요 원인으로 작용했습니다.

• 문서 적재 오류

K-지존(KT 고객 응대 및 상품 지식 관리 플랫폼) 내에 적재된 문서는 복잡한 형태로 구성되어 있습니다. 특히, 표 안에 다량의 정보가 포함되어 있으며, 표 내에 또 다른 표가 존재하는 등 비정형적인 구조로 인해 여러 문제가 발생하였습니다. 이로 인해 문서를 적재하기 위한 전처리 과정에서 오류가 발생하였고, 결과적으로 일부 필요한 정보가 VectorDB 내에 누락되거나 불완전하게 반영되었습니다.

또한, 문서 적재가 수기로 이루어져, 이로 인해 문서 자체가 누락되는 문제도 발생했습니다. 이러한 문제들은 RAG의 

Retrieval 즉, 정보 검색 과정에서 오류를 일으켜, 부정확한 응답을 제공하는 결과로 이어졌습니다.

1차 파일럿 결과에서 나타난 주요 문제점들(pain points)을 해결하기 위한 과정은 다음과 같이 진행되었습니다.

1. 사용자 가이드 제공

상담사들이 챗봇 형태의 질문에 더욱 쉽게 접근할 수 있도록, 명확하고 직관적인 사용 설명서를 제공하며, 이를 기반으로 상담사 교육을 실시하여 사용자의 질문 방식이 개선될 수 있도록 지원하였습니다.

예를 들면, “인터넷, TV, 일반전화, 모바일 등 상품명을 포함하여 질문해야 정확한 답변이 나옵니다.”, “물어보고 싶은 내용을 구체적으로 질문해야 원하는 답변이 나옵니다.”라고 가이드 하여 아래와 같이 질문 방식이 개선되었습니다.

2. 문서 적재 프로세스 개선

복잡한 구조의 문서를 보다 효율적이고, 정확하게 정리하기 위해, 문서 적재 과정에도 LLM 프로세스를 추가하여 표 형태의 데이터를 텍스트 형태로 변환하도록 개선했습니다.

또한, 문서 생성 시 모호한 표 형태는 지양하도록 지식 생성자에게 가이드를 제공하여 적절한 표 데이터를 만들 수 있도록 하여 LLM이 이해하기 쉬운 형태로 수정하는 과정을 거쳤습니다. 마지막으로, 문서 적재 자동화 프로세스를 추가하여 신규 문서의 적재 또는 수정이 이루어질 때 즉시 반영될 수 있도록 하였습니다. 이로 인해 항상 최신 정보가 유지되어 검색 시 미적재된 문서가 없도록 하였습니다.

1차 파일럿 이후 도출된 문제점을 해결하기 위해, 사용자 가이드 작성과 문서 적재 프로세스 변경 외에도 Multi-Question 기술 도입 및 LLM 모델 변경, 프롬프트 엔지니어링 등의 많은 개선 작업을 수행하여 시스템의 전반적인 개편 작업을 진행했습니다.

이러한 개선을 바탕으로 2024년 11월 22일부터 2024년 12월 24일까지 2차 파일럿을 진행하였으며, 이번에는 기존 100명 규모에서 200-300명 규모로 파일럿 대상 상담사를 확대하여 진행했습니다. 그 결과는 놀라웠습니다.

2차 파일럿을 수행하는 과정에서도 지속적인 피드백과 모니터링을 수행함으로써 최종적으로 91.25%라는 정확도를 달성할 수 있었습니다.

1차 및 2차 파일럿 수행 이후 얻은 피드백을 바탕으로 수정 개발을 진행한 결과, 2025년 3월부터 전국 KT고객센터의 상담사들은 지식추천 Agent 기능을 통해 상담 시 정보 검색 및 발췌 노력을 줄일 수 있게 되었습니다. 이로 인해 상담 시간을 약 10초 단축할 수 있었으며, 그 결과 일 평균 2,200콜 수용이 확대되는 성과를 거두고 있습니다. 이러한 개선은 고객 응대의 효율성을 높이고, 서비스 품질을 향상시키는 데 크게 기여하고 있습니다.

현재는 Microsoft와 KT의 글로벌 동맹 강화에 따라 AWS OpenSearch 기반으로 제공되던 지식추천 기능이 Azure AI Search 기반으로 대대적으로 변경되었습니다. 이 과정에서 현재 약 96%의 높은 정확도를 달성하며 사용성이 크게 향상되었습니다.

이 외에도 사내에서 RAG 기술 적용 서비스가 증가함에 따라, 다양한 사내 서비스에 지식 데이터를 제공할 수 있는. 확장 가능한 형태로 최종 구축하는 등 지속적인 기술 혁신과 개선을 통해 보다 나은 서비스를 제공하기 위해 노력할 것입니다.

이번 프로젝트를 수행하며 기술적으로는 AI 모델이 아무리 뛰어나도 기초가 되는 데이터의 품질과 해당 데이터를 어떻게 활용할 것인지 고민하고 전처리하는 과정이 중요하다는 것을 체감하였습니다.

또한, 사용자와 지속적으로 소통하며 피드백을 주고받는 과정의 중요성도 크게 느꼈습니다. 사용자들이 실제로 시스템을 어떻게 사용하는지, 어떤 부분에서 어려움을 겪고 있는지를 직접 듣는 것은 개선 방향을 설정하는 데 매우 유익했습니다. 이러한 소통을 통해 사용자의 요구와 기대를 이해하고 반영할 수 있었으며, 이는 궁극적으로 사용자 경험을 향상시키는 데 크게 기여하였습니다. 결국, 사용자의 효용감을 높이는 것이 프로젝트의 궁극적인 목표라는 점을 다시 한 번 확인할 수 있었습니다.

현재도 사용자와의 지속적인 소통을 이어가고 있으며, 기술적으로는 문서 적재 및 LLM 모델 변경, 프롬프트 엔지니어링을 진행하여 더 나은 지식추천 기능을 제공하기 위해 끊임없이 노력하고 있습니다. 이 아티클만으로는 Agent 개발 과정에서 겪은 수많은 고난과 역경을 모두 표현하기는 어렵겠지만, 하나의 좋은 Agent와 유용한 기능을 제공하기 위한 끊임없는 고민과 개선을 위한 노력들이 조금이라도 전달되었으면 좋겠습니다.

마지막으로, 사용자에게 좋은 경험과 기능을 제공하기 위해 힘쓰고 있는 모든 기획자와 개발자 분들께 깊은 존경을 표하며, 이 글을 마칩니다. 끝까지 읽어주셔서 감사합니다.