1. 프롤로그: AI 기술을 '경험'으로 번역하는 일
거대 언어 모델(LLM)은 그 자체로서는 눈에 보이지 않는 '지능'이자 '뇌'와 같습니다. 따라서 아무리 뛰어난 성능을 가진 KT AI 모델이라도, 사용자가 직접 사용하고 그 효용을 체감하지 못하면 기술의 진정한 가치는 전달되기 어렵습니다. KT가 인공지능(AI) 마스터 브랜드 K intelligence를 런칭하고 다양한 제품/서비스에 AI 모델을 적용하고 있지만 B2C 서비스에 적용된 사례가 많지 않아, 고객이 직접 AI 모델을 체험해 볼 수 있는 채널이 부족한 상태였습니다.
이러한 간극을 좁히고 KT의 AI 모델들을 선보이기 위해, 직접 대화를 체험할 수 있는 K Model Demo를 기획하게 되었습니다. K intelligence 사이트(ai.kt.com )에서 제공하는 KT AI 기술 전반 가운데, 사용자가 가장 직관적으로 체험할 수 있는 LLM을 중심으로 접근하기로 했습니다.
K Model Demo은 기술 홍보를 넘어, 고객이 KT AI의 실체를 직접 경험하는 장(場)이 되는 것을 지향합니다. 우리는 단순 채팅 기능을 넘어, 사용자의 구체적인 목적(검색, 문서분석, 작문)에 맞춰 AI가 강력한 도구로 활용할 수 있음을 단계적으로 증명하는 체험 환경을 설계했습니다.
2. 프로젝트 목표: "KT AI 모델의 특장점을 가장 잘 보여주는 그릇"
이 프로젝트를 진행하며 기획자로서 항상 고민했던 것은 모델의 뛰어난 기술적 완성도를 고객에게 최적화된 경험으로 '어떻게 전달할까?' 였습니다. KT AI 모델의 성능이 UX/UI 상에서 왜곡되거나 축소되지 않고, 사용자에게 온전히 전달되도록 하는 것이 핵심 목표였습니다.
따라서 우리는 "사용자가 믿고 쓸 수 있는가?"를 최우선 가치로 두고, 다음과 같은 핵심 미션을 설정했습니다.
- 신뢰성 (Trustworthy): 출처가 명확한 정보와 윤리적인 답변 가이드라인을 녹여내어 심리적 안전감을 제공한다.
- 체감성 (Tangible): 막연한 AI 성능을 구체적인 기능으로 시각화하여 사용자가 직접 효용을 느끼게 한다.
- 범용성 (Versatile): 단순 대화부터 문서 분석, 창작까지 모델의 활용성을 입증한다.
- 접근성 (Easy Adoption): 일반 고객14세 이상이 소셜 로그인을 통해 간편하게 접근할 수 있는 환경을 구축하여, 새로운 사용자 유입에 대한 장벽을 낮추고 폭넓은 서비스 경험을 제공한다.
3. 진화하는 서비스: 단계별 기획 방향
사용자에게 한 번에 너무 많은 기능을 쏟아내기 보다, 모델의 기초 체력부터 응용 능력까지 단계적으로 경험을 확장시키는 로드맵을 설계했습니다.
1 단계. 본질에 집중하다 "모델의 기본 대화 능력 검증"
초기 단계의 서비스 목표는 군더더기 없는 대화 경험이었습니다.
- 미니멀 인터페이스: 복잡한 메뉴를 배제하고, 채팅창(Input)과 답변(Output)에만 집중할 수 있는 미니멀 UI를 채택했습니다.
- 한국 맞춤형 프롬프트 제공: KT의 한국적 모델 성능을 가장 잘 보여줄 수 있는 프롬프트 가이드를 초기 화면에 배치하여, 사용자가 모델의 강점(예: 한국어의 미묘한 뉘앙스 처리, 특정 도메인 지식)을 손쉽게 체험할 수 있도록 유도했습니다.
- 한국 맞춤형 프롬프트 제공: KT의 한국적 모델 성능을 가장 잘 보여줄 수 있는 프롬프트 가이드를 초기 화면에 배치하여, 사용자가 모델의 강점(예: 한국어의 미묘한 뉘앙스 처리, 특정 도메인 지식)을 손쉽게 체험할 수 있도록 유도했습니다.
2 단계. 맥락을 더하다 "내 데이터와 세상의 정보를 연결하는 경험"
2차 고도화에서는 앞서 고민했던 신뢰성(Reliability) 문제를 기술과 UX로 해결하는 데 집중했습니다.
- Web Search 연동 (웹 검색): 최신 정보를 묻는 질문에 대해 AI가 상상해서 답하지 않고, 실시간 웹 검색 결과를 근거로 제시하는 UI를 구현했습니다. 출처(Source)를 명확히 표기하여 정보의 투명성을 높였습니다.
- DocuSee (문서 기반 질문): 사용자가 PDF 문서를 업로드하면 이를 분석해 답변하는 기능을 추가했습니다. KT의 DocuSee 기술이 적용되어 보다 정교한 문서 분석을 강조하며, UX적으로는 업로드된 문서를 대화 창 내에서 즉시 확인하며 질문할 수 있도록 편의성을 높이고, 답변의 출처를 명확히 표기하여 정보의 투명성을 확보했습니다.
3 단계. 사용성을 완성하다 "사용자가 고민할 필요 없는 친절한 AI"
가장 최근 진행된 3차 고도화의 핵심은 '장벽 낮추기'와 ‘확장성'입니다. '장벽 낮추기'는 사용자에게 복잡한 AI 기술을 숨겨 접근성을 높이는 것을 목표로 하며, '확장성'은 모델의 활용 범위를 넓혀 다양한 용도로 쓸 수 있게 하는 것을 의미합니다.
- 자동 최적화된 AI 활용 경험 제공: 오케스트레이터 (Orchestrator)
사용자의 질문은 단순 대화부터 문서 요약, 정보 검색 등 다양한 의도를 가집니다. 기존에는 사용자가 직접 기능을 선택해야 했지만, 이제는 AI가 스스로 사용자의 의도를 파악하고 가장 적합한 기능에 연결하여 최적화된 경험을 제공합니다.
- '오케스트레이터 (Orchestrator)' 기술 도입: 사용자의 자연어 질문을 실시간으로 분석하고 그에 따라 가장 적합한 기능(LLM, 웹 검색 연동, 문서 분석 등)이 자동으로 활성화됩니다. 이를 통해 사용자는 기능 선택의 복잡성 없이, 질문에만 집중할 수 있습니다.
- 초기 작성 부담 해소: '생성 템플릿 3종' 및 'AI 도우미 2종'
기획 단계에서 검토한 사용자 경험 조사 및 시장 분석 결과, 다수의 사용자가 AI를 활용할 때 빈 화면의 공포(Blank Page Syndrome)를 가장 크게 겪고 있음을 확인했습니다. 이러한 분석을 바탕으로 "무엇을 써줘"라고 막연하게 입력하는 사용자나, 복잡한 기능을 어떻게 활용할지 모르는 사용자를 돕기 위해 ‘구조화된 입력’을 돕는 목적별 템플릿과 AI 도우미를 제공했습니다.
- 생성 템플릿 (3종): 이메일 / 자기소개서 / 소셜 템플릿과 같이 각 목적에 필요한 입력 필드(수신자, 핵심키워드, 톤&매너 등)를 폼(Form) 형태로 제공하여, 입력만 하면 고품질의 초안이 생성되도록 했습니다. 이는 AI를 '대화 상대'에서 '생산성 도구'로 인식 전환시키는 계기가 되었습니다.
- AI 도우미 (2종): '웹 활용 도우미', '문서 활용 도우미'를 제공하여, 웹 검색 결과나 업로드된 문서 내용을 기반으로 '막연한 글쓰기'를 시작할 수 있도록 구체적인 프롬프트 가이드와 환경을 제공했습니다.
- 길잡이 역할: ‘프롬프트 가이드' ,'홈 개편' 및 '대화 연결성 강화’
- 기능이 많아짐에 따라 홈 화면을 개편하여 주요 기능(일반 대화, 문서 요약, 템플릿 등)에 대한 진입 동선을 명확히 했습니다.
- 프롬프트 작성이 낯선 사용자를 위해 ‘프롬프트 가이드'를 홈에 배치하여, 적절한 질문 예시를 넛지(Nudge) 형태로 제공하고, 모든 기능이 사용자에게 길잡이 역할을 할 수 있도록 설계했습니다.
- 모델의 답변에 이어서 사용자가 다음 질문을 쉽게 이어갈 수 있도록 ‘연관 질문’ 기능을 제공하여 대화의 자연스러운 심화 및 확장성을 강화했습니다.
4. 사용자 경험의 완성, 세밀한 디자인 전략
4.1 UX 품질 및 디자인 준수
서비스의 일관성과 심미성을 확보하는 것은 곧 사용자가 AI 기술을 신뢰하고 편안하게 느끼도록 하는 기반입니다.
- KT 디자인 표준 적용: X-Design Center에서 제작한 'AI Agent UX/UI Guide 2025'에 맞춰 작업하며, 단말 별 모든 구성 요소의 일관성, 접근성, 심미성을 확보하여 KT 디자인의 품질 표준을 맞추기 위해 노력했습니다.
- 관련자료 | UX/UI Guide 개발 스토리
- AI 대화 패턴 최적화 및 신뢰 확보: AI 서비스에 특화된 피드백 체계를 설계하여 사용자의 심리적 안전감과 신뢰도를 높이는 데 주력했으며, 이를 위해 UX에 다음과 같은 핵심 구성 요소들을 통합했습니다.
- 투명성을 통한 신뢰 구축: 사용된 AI 답변 모델의 상세 정보를 제공하여 답변의 근거를 인지하도록 했습니다. 특히, 생성된 답변의 근거가 웹 검색 기반, 첨부 문서 기반, 또는 LLM 자체 지식 기반 중 무엇인지 명시적으로 표기 하였습니다.
- 오사용 방지 및 사용 안내: 사용자의 혼란과 불편을 최소화하기 위해 첨부 문서의 파일 포맷(PDF), 용량, 토큰 제한 등 기술적 제약 사항을 명확히 사전 안내했습니다. 이는 사용자가 서비스의 한계를 미리 이해하고 오사용을 방지하도록 돕습니다.
- 안전한 환경 및 윤리적 가이드: 사용 제약사항(개인식별 정보 노출 금지 등) 및 윤리적 가이드라인을 안내하여 안전한 서비스 이용 환경을 구축했습니다. 이 같은 명확한 경계 설정은 AI 응답의 불확실성이 발생할 때도 사용자가 심리적 안전감을 유지하고 서비스에 대한 신뢰를 지속할 수 있도록 하는 핵심적인 안전망 역할을 합니다.
- 지속적인 품질 피드백 루프: 답변의 유용성과 정확도를 사용자가 직접 평가할 수 있는 피드백 기능(좋아요/싫어요)을 제공했습니다. 단순한 사용성 평가를 넘어, 서비스의 지속적인 품질 개선을 위한 정량적 데이터 확보 채널로 활용하고 있습니다.
4.2 반복적인 내부 검증을 통한 품질 확보
기술의 완성도는 고객에게 전달되기 전까지 끊임없는 실사용 검증을 통해 담보됩니다. 우리는 개발 과정뿐만 아니라, 완성된 서비스의 실사용 품질을 높이는 데 집중했습니다.
- 단계별 피드백 루프: 1단계부터 3단계에 이르는 업그레이드 단계에 따라 임직원의 반복적인 내부 테스트를 진행했습니다. 이를 통해 실제 사용 환경에서 예상치 못한 버그를 발견하고, 답변의 정확도와 유용성을 검토했습니다.
- 답변 품질 관리: 기능 구현을 넘어, 동일한 질문에 대해 모델별, 멀티턴 대화 상황 혹은 프롬프트 개선에 따른 답변 품질 차이를 비교하는 테스트를 상시적으로 진행했습니다. 지속적인 내부 피드백 루프를 통해 개선된 기능과 답변 품질 확보에 심혈을 기울였습니다.
- 지속적 개선 반영: 이러한 검증 과정에서 얻은 피드백은 단순히 버그 수정에 그치지 않고, 모델의 프롬프트 엔지니어링 개선, 새로운 기능의 우선순위 설정, 그리고 향후 KT 모델 및 서비스 향상 로드맵에 지속적으로 반영할 예정입니다.
5. 서비스의 ‘지능’과 ‘신뢰’를 구현하는 우리의 기술
5.1 K Model : 한국어에 최적화된 AI의 진화
KT에서 개발한 K Model은 검증된 고품질 데이터로 학습한 고성능 AI로, 개발 초기부터 Responsible AI를 고려하여 신뢰성과 안전성을 모두 갖춘 모델입니다. 이번 K Model Demo에서는 K Model 라인업 중 믿:음 K 2.0 Base와 Llama K를 사용해볼 수 있도록 준비했습니다.
- 믿:음 K 2.0은 KT 자체 개발 언어모델로 한국어에 최적화된 모델입니다. 한국어 문맥과 문화적 특성을 깊이 이해하도록 설계되어 자연스러운 문장 생성과 질의응답은 물론이고, 한국 사회의 가치와 추론 방식, 상식과 지식을 반영해 문화적 맥락과 감정적 뉘앙스를 이해하고 신뢰성 있는 응답을 생성합니다. 믿:음 K 2.0은 글로벌 벤치마크에서 “가장 안전한 한국어 LLM”에서 1위를 달성하여, 동급 모델 중 가장 안전한 모델로 평가받기도 했습니다.
믿:음 K 2.0의 모델 라인업은 프론티어급 고성능 Pro 모델, 범용 목적의 11.5B 파라미터 Base 모델, 그리고 자원 제약 환경 및 특화 작업을 위한 2.3B 파라미터 Mini 모델로 구성되어있으며, 이 중 Base와 Mini 모델은 오픈소스로 공개되어 누구든지 다운로드하여 사용 가능합니다.(huggingface )
K Model Demo에서는 개발자가 아닌 일반 사용자들도 편리하게 Base 모델과의 대화를 체험해볼 수 있도록 제공하고 있습니다.
- 관련자료 | 기술 브로셔 , Technical Report
- Llama K는 산업별 요구에 유연하게 대응할 수 있도록 공개된 오픈소스 모델을 기반으로 실용적으로 설계하여 개발한 모델입니다. 다양한 오픈소스 모델 중 높은 성능과 비용 효율성을 가진 중간 규모(70B)의 Llama 모델을 선택하여 한국어 역량, 한국어 지시이행(Instruction Following), 수학/코딩 능력을 강화하였으며, 양자화를 통해 추론 비용을 절감하였습니다. 특히 한국 비즈니스 환경에 맞춰, Llama 원본 성능은 유지하면서도 한국어 특화 영역과 공공 문서 처리 성능을 강화한 것이 특징입니다. 이번에 K Model Demo를 통해 Llama K 74B를 일반 사용자들도 체험해볼 수 있게 하였습니다.
- 관련자료 | 기술 브로셔, Technical Report
K Model(믿:음 K 2.0, Llama K)을 서비스로 만드는 작업은 단순히 모델 서빙만으로 끝나는 것이 아니라, 서비스에 맞게 답변의 톤과 맥락을 세심하게 조율하는 작업이 중요합니다. 이를 위해 우리는 모델을 ‘길들이는’ 작업을 시작했습니다. 시스템 프롬프트를 모델별 특성에 맞게 따로 설계하고, 요약 제목과 연관 질문, 3종 생성템플릿의 완성도를 높이기 위한 세밀한 프롬프트 개선 작업도 진행했습니다. 이 과정에서 가장 큰 고민은 “어떻게 하면 고객이 AI를 자연스럽게 받아들일 수 있을까?”였고, 그 답은 결국 반복 테스트와 개선이었습니다.
AI가 목적에 맞는 답변을 생성하도록 프롬프트를 지속적으로 수정하고 테스트하는 프롬프트 엔지니어링에 많은 시간을 투자했습니다. 이러한 반복적인 최적화 과정을 통해 사용자 경험을 한층 더 향상 시킬 수 있었습니다.
5.2 DocuSee: 문서를 이해하는 한국 특화 엔진
K Model Demo에는 다양한 형태의 문서에서 필요한 정보를 자동으로 추출하여 AI Readable 데이터로 변환해주는 기술인 KT DocuSee를 적용하였습니다. DocuSee는 한국 특화 문서 분석 엔진으로 국내 관공서에서 흔히 사용하는 HWP파일 및 한자를 정확히 인식하며, 복잡한 테이블과 차트, 순서도, 다이어그램 인식 성능이 국내 경쟁사 기술 대비 뛰어난 수준입니다. 현재 KT 내부뿐 아니라, 금융 및 공공 등 산업 현장에서 문서 자동화 및 AI 문서 검색 정확도를 높이기 위해 활용되고 있습니다. DocuSee를 일반고객 대상으로 처음 선보이는 K Model Demo에서는 가장 보편적인 PDF 파일 먼저 수용하였으며, 점차 지원 포맷을 늘려갈 계획입니다.
공공과 기업을 위한 온프레미스/구축형 사업에 주로 적용되어 왔던 DocuSee와, 이번 K Model Demo프로젝트에 적용된 DocuSee는 아키텍처가 상이합니다. 기존 방식은 한 서버에 Backend와 ML 모델 서버를 한꺼번에 올려서 운영하는 방식이었는데요. MS Azure의 KT 랜딩존 상에서 DocuSee를 제공하기 위해, AKS 상에서 기능별로 Deployment를 쪼개고, GPU가 필요한 모델 서버는 GPU 노드 풀에, 나머지 Backend·유틸성 서비스들은 CPU 노드 풀에 분리해서 올리도록 설계했습니다. 이를 통해 도커 이미지를 모듈 단위로 가볍게 유지할 수 있었고, 특정 서비스만 선택적으로 교체하거나 확장하는 것도 훨씬 쉬워졌습니다.
한편, 이번 프로젝트는 기존 온프레미스형/구축형 사업과 네트워크·보안 구조가 매우 달라 어려웠던 점도 많았습니다. DocuSee가 올라가 있는 AKS 클러스터를 외부에서 직접 호출할 수 없고 반드시 APIM(API Management)을 통해서만 접근해야 하는 구조이고, 경유 지점이 많아지다 보니 요청이 어디에서 막히는지 추적하는 일이 생각보다 복잡했습니다. 또한 CORS, IP 제한, Rate Limit 같은 보안 정책까지 함께 고려되어야 해서, 결과적으로 DocuSee 구축 기간은 짧았으나 인프라·보안 이슈에 훨씬 많은 시간이 소요되었습니다. 하지만 이번 프로젝트는 “AKS + APIM 기반 환경에서 서비스를 어떻게 설계하고 운영해야 하는지”에 대한 경험을 쌓을 수 있는 좋은 기회였습니다.
5.3 오케스트레이터 (Orchestrator) : 대화의 흐름을 조율하는 두뇌
K Model Demo에서 오케스트레이터는 대화형 서비스로 유입되는 다양한 사용자 질의를 자동으로 식별 및 분류하고, 질의 특성에 따라 가장 적합한 처리 경로로 라우팅하는 핵심적인 역할을 담당합니다. 질문 분류를 위해 라우팅 처리 경로를 웹검색, LLM 자체 지식, Fallback으로 구분하였는데요. 최신성이나 시의성이 중요한 뉴스, 가격·환율, 정책 변경과 같은 질의는 웹 검색 경로로 우선 라우팅되도록 설계했으며, 시점에 영향을 받지 않는 일반 개념 설명이나 절차 안내성 질문은 LLM 단독 응답으로 처리했습니다. 특히, 윤리·안전 이슈나 서비스 범위 밖 요청, 내부 규정 위반 가능성이 있는 경우에는 Fallback 경로로 전환하여 안전 응답을 제공하도록 했습니다. 더불어 의료·법률·재무와 같은 고위험 도메인 질의에 대해서는 LLM 단독 답변을 엄격히 제한하고, 반드시 근거 기반 검색이나 문서 참조 경로를 거치도록 유도하여 안전성을 강화했습니다.
설계 과정에서 우리는 사용자의 의도를 정확히 파악하는 것과 응답 속도 지연을 최소화하는 두 가지 핵심 목표에 집중하였고, 이를 위해 대화 이력과 문맥을 함께 반영하는 '의도 기반 자동 라우팅' 체계를 구축했습니다.
먼저 분류 성능 향상을 위해서는, 단일 규칙 기반 분류만으로는 경계가 모호한 질의를 안정적으로 처리하기 어렵다는 점을 보완하기 위해, CoT(Chain-of-Thought) 방식을 적용하여 질의를 단계적으로 분석하도록 했습니다. 또한, 1단계에서 큰 분류를 먼저 판단하고 2단계에서 세부 처리 경로를 결정하는 단계적 분류 구조를 도입하여 전체 분류 정확도를 향상시켰습니다. 모호한 경계 구간에는 few-shot 예시를 추가하여 의도 분류를 보완했고, 규칙 충돌이 발생하는 경우에도 기존 정상 케이스의 성능을 유지하면서 새로운 시나리오를 커버할 수 있도록 서비스 맞춤형 프롬프트 엔지니어링을 적용했습니다.
그리고 멀티턴 대화 환경에서 사용자의 의도를 안정적으로 파악하기 위해, 대화 이력을 분석하고 문맥을 반영하여 질의를 재작성(Query Rewriting)하는 과정도 함께 설계했습니다. 사용자의 원 질문이 불명확한 경우에도 이전 발화와 맥락을 고려해 의도가 보다 명확히 드러나는 형태로 질의를 정제함으로써 분류 안정성을 높일 수 있었습니다. 다만, 질의 재 작성과 의도 분류를 각각 LLM으로 호출할 경우 응답 속도가 저하될 수 있기에, 두 작업을 하나의 프로세스로 통합하여 단일 호출로 처리하도록 구성했습니다. 이를 통해 분류 정확도와 응답 속도 사이의 균형을 효과적으로 확보할 수 있었습니다.
현재 오케스트레이터는 단일 질의에 대해 최적의 처리 경로를 선택하는 역할을 수행하고 있으나, 향후에는 에이전트 오케스트레이터(Agent Orchestrator)로의 확장을 고려하고 있습니다. 이는 하나의 질문 안에 여러 의도가 포함된 복합 질의를 분해하고, 각 하위 질의를 적절한 Agent 또는 LLM으로 분산 처리한 뒤 결과를 통합하는 구조를 목표로 합니다. 궁극적으로 오케스트레이터는 단순 라우팅을 넘어, 에이전트 실행 흐름 전반을 조율하는 중심 컴포넌트로 진화할 계획입니다.
6. 에필로그: AI, 도구를 넘어 파트너로
K Model Demo는 단순히 기술을 알리는 페이지가 아닙니다. 1단계 '대화', 2단계 '정보 탐색', 3단계 '생산성 향상'을 거치며, 이 사이트는 사용자가 KT AI 모델의 다양한 기능과 기술을 직접 확인하고 체험하는 장(場)으로 발전했습니다.
이번 K Model Demo는 단순한 기술 구현을 넘어, 다양한 전문 조직 간의 유기적인 협업이 얼마나 중요한지를 다시 한번 확인하는 계기가 되었습니다. 특히 모델과 요소기술 적용 및 최적화, 서비스 구조, 사용자 경험(UX/UI), 인프라 설계 및 운영 등 각 부서가 자신의 영역에서 적극적으로 소통하고, 문제 해결에 함께 참여해 준 점이 프로젝트를 성공적으로 이끄는 가장 큰 원동력이 되었습니다.
향후 Microsoft와 협력하여 만든 SOTA K built on GPT-4o 모델, 그리고 앞으로 새로 출시될 모델들과 기술을 적극적으로 적용하고 검토할 계획입니다. 이처럼 KT AI 모델을 쉽고 편리하게 활용할 수 있는 다양한 기능들을 제공하여, 서비스의 풍성한 발전을 지속적으로 이끌어 갈 것입니다. 기술은 투명해지고, 경험은 선명해질 때까지 우리의 K Model Demo의 여정은 계속됩니다.
마지막으로 K Model Demo 사외 오픈에 많은 도움을 주신 모든 프로젝트 참여자 분들께 깊은 감사의 말씀을 드립니다.