안녕하세요, KT AX미래기술원 Frontier AI Lab 입니다. 저희는 언어, 시각, 음성, 그리고 모델 경량화 및 서빙 최적화를 담당하는 팀들이 모여, 생성형 AI 모델을 개발하고 이를 서비스에 안정적으로 적용하는 일까지 함께 연구 개발하고 있습니다.

최근 언어모델이 빠르게 발전하면서 AI는 일상 가까이로 들어왔습니다. 하지만 우리의 소통은 언어뿐 아니라 시각, 청각 등 다양한 감각에 걸쳐 이루어집니다. 우리는 상대방의 표정과 목소리 톤에서 감정을 느끼고, 때로는 사진이나 영상을 함께 보며 이야기를 나눕니다. 사람처럼 소통하는 AI를 위해서는 보고, 듣고, 말하는 능력이 하나의 모델 안에서 자연스럽게 통합되어야 합니다. 이런 흐름 속에서 KT는 언어, 시각, 음성 세 가지 모달리티를 하나의 모델로 융합한 첫 번째 Omni 모델을 개발했습니다. 이 모델은 텍스트, 이미지, 음성 정보를 다양한 형태로 입력받아 통합적으로 이해하고, 사용자의 의도에 부합하는 결과를 텍스트와 음성으로 생성합니다. 단일 모달리티에 대한 질의응답에 그치지 않고, 여러 모달리티가 섞인 입력을 이해해 사람이 소통하는 방식에 가깝게 응답하는 것을 목표로 합니다. 

이번 Omni 모델은 완전히 새롭게 개발된 것이 아니라, KT의 기존 연구개발 성과와 노하우를 적극 활용하여 개발되었습니다. 앞선 글에서 소개해 드린 한국어에 특화된 믿:음 언어모델, 그리고 KT의 시각 인코더(Vision Encoder) 와 음성 인코더(Speech Encoder)를 기반으로 합니다. 각 분야에서 검증된 모델들을 기반으로 언어, 시각, 음성 기능을 단일 모델 내에서 유기적으로 통합하는 방향으로 개발을 진행하였습니다. 이 과정은 결코 쉽지 않았습니다. 저희가 마주한 어려움은 크게 다섯 가지였습니다.

• 첫째, 데이터입니다. 시각-언어, 음성-언어 조합의 데이터는 비교적 풍부하지만, 언어-시각-음성이 함께 어우러진 데이터는 충분치 않아 새롭게 구축해야 했습니다.
• 둘째, 모달리티 통합입니다. Omni 모델은 다양한 입력 조합을 처리해야 하는 만큼, 각 모달리티의 전문성을 유지하면서 이를 단일 모델로 통합하는 것이 핵심 과제였습니다.
• 셋째, 안정성과 신뢰성입니다. 입력 조합이 많아진 만큼, 어떤 조합에서도 일관되고 안정적인 응답 품질을 유지해야 했습니다. 여기에 더해 어떤 모달리티 조합이 들어오더라도 편향이나 유해성 없이 신뢰할 수 있는 응답을 제공하는 것이 중요했습니다.
• 넷째, 평가입니다. 다양한 입력 모달리티 조합을 포괄적이며 신뢰성 있게 검증할 수 있는 평가 체계가 필요했습니다.
• 다섯째, 서빙입니다. 여러 모듈을 통합한 복잡한 구조의 모델을 실제 서비스 환경에서 안정적이고 효율적으로 제공하기 위한 서빙과 추론 최적화가 뒷받침되어야 했습니다.

이러한 어려움은 어느 한 팀의 노력만으로는 풀 수 없는 문제였습니다. 언어, 시각, 음성, 모델 경량화 및 서빙 최적화 분야의 팀들이 공동 목표 아래 협력해 만든 성과가 믿:음 K 2.0 Omni Basic 입니다. 이번 글에서는 저희가 믿:음 K 2.0 Omni Basic 모델을 개발하며 마주했던 과제들과, 이를 해결하는 과정에서 새롭게 알게 된 것들을 하나씩 공유하고자 합니다. 학습 데이터를 어떻게 구성하였는지, 모델을 어떤 구조로 설계하고 학습시켰는지, 그리고 이를 어떻게 서비스 가능한 형태로 최적화하고 평가하였는지 저희의 작업 과정을 차근차근 풀어보겠습니다.

믿:음 K 2.0 Omni Basic은 텍스트와 이미지, 음성을 입력으로 받아 그 결과를 텍스트와 음성으로 생성하는 Omni 모델입니다. 이때 응답은 그림 1과 같이 화면에 표시되는 텍스트 응답과 음성으로 전달되는 발화 응답을 각각 생성하는 Dual Response 방식을 도입하였습니다. 이를 통해 수식이나 코드와 같이 음성으로 그대로 전달하기 어려운 내용도 음성 응답에 적합한 형태로 재구성하여 보다 자연스럽게 전달할 수 있도록 하였습니다.

학습에 사용한 텍스트 데이터는 KT 믿:음 언어모델의 학습 데이터를 기반으로, 각 학습 단계의 목적에 맞게 샘플링하여 활용하였습니다. 여기에 이미지와 음성이 포함된 멀티모달 데이터를 폭넓게 수집하고 자체 파이프라인을 통해 정제·구축함으로써, 다양한 입력 조합을 학습할 수 있는 데이터 기반을 마련하였습니다. 이 글에서는 데이터를 어떠한 절차를 통해 구축하였는지, 그리고 그 과정에서 어떤 특성을 갖는 데이터를 확보하였는지를 중심으로 소개합니다.

이미지가 포함된 학습 데이터는 크게 세 가지입니다. 이미지와 텍스트로 이루어진 데이터(IT2T), 영상에서 이미지·음성·텍스트를 함께 뽑아낸 데이터(IST2T), 그리고 기존 이미지-텍스트 데이터의 텍스트를 음성으로 변환한 데이터(IS2T)입니다. 형태는 다르지만 모두 “폭넓게 수집하되 단계마다 엄격하게 걸러낸다”는 같은 원칙 아래 표준화된 절차로 구축했습니다.

수집·생성: 이미지-텍스트 데이터는 이미지 설명 생성, 시각적 질의응답, 차트·표 이해, 문서 이해, 문자 인식, 시각적 위치 지정, 지식 기반 추론, 수학·과학 이미지 이해, 코드 이해 등 다양한 태스크에 걸쳐 영어와 한국어를 함께 수집했습니다. 공개·비공개 데이터를 모으는 한편 태스크별 자체 생성 파이프라인을 고안하여 데이터를 확보했습니다. 이미지-음성-텍스트 데이터는 음성이 함께 담긴 영상을 원천으로 해당 영상에서 대표 프레임을 추출한 후 멀티모달 모델을 활용하여 학습 데이터를 생성하였습니다.

정제와 필터링: 방대한 원천 데이터에서 학습에 쓸 데이터를 추리기 위해 단계별 정제 과정을 거쳤습니다. 이미지-텍스트 데이터는 이미지 파일 유효성 검사와 텍스트 필터링·정규화를 수행하여 손상되었거나 품질이 낮은 샘플을 제거하였습니다. 영상 기반 데이터는 무음·잡음 구간, 목표 외 언어, 정보량이 적은 클립을 단계마다 걸러 내는 다단계 정제 파이프라인을 적용하였습니다. 음성을 합성하는 데이터는 이모지·수식·표·URL처럼 소리로 옮기기 어려운 요소를 미리 걸러 내고, 긴 발화는 다시 쓰거나 특수기호·줄임말을 실제 발음에 맞게 바꾸는 텍스트 정규화 과정을 거쳤습니다.

품질·난이도 평가: 정제와 필터링을 거친 데이터는 품질과 난이도를 기준으로 다시 선별했습니다. 이미지-텍스트 데이터는 모델을 활용해 기본적인 품질(텍스트 품질, 언어 일관성, 카테고리 정합성)과 데이터의 난이도(추론 및 배경지식 필요 여부)를 각각 0~10점으로 평가했습니다. 이렇게 산출된 점수를 바탕으로 이미지를 보지 않고 텍스트 정보만으로 풀 수 있는 데이터를 정교하게 걸러내었으며, 각 데이터의 난이도에 따라 이후 학습 단계에 전략적으로 반영했습니다. 생성형으로 만든 데이터는 정답 정합성, 이미지·음성 등 교차 모달리티에 대한 의존성, 정답이 질문에 노출되었는지를 자동·수동으로 점검하는 품질 게이트를 통과하도록 했습니다. 음성 합성 데이터는 합성 후 음성 인식 기반 오류율(WER/CER)을 측정해 기준을 통과한 데이터만 학습에 포함했습니다.

구성 균형: 특정 데이터셋이나 태스크로 쏠리지 않도록 데이터셋별 샘플 수에 상한을 두고, 샘플이 적은 태스크는 최소 비율을 확보했습니다. 특히 한국어 특화 모델인 만큼, 영어 중심의 기존 멀티모달 모델들이 상대적으로 취약했던 한국어 문서 및 한국적 맥락에 대한 깊이 있는 이해를 핵심 목표로 삼았습니다. 이를 위해 OCR·테이블·차트·인포그래픽 등 문서 이해 데이터를 집중적으로 강화하는 동시에, 국내 문화·역사·사회·생활 전반을 포괄하는 데이터를 대폭 확충하여 한국 특화 지식과 문화적 맥락에 대한 모델의 이해 능력을 극대화했습니다. 한국어와 영어 데이터의 최적 구성 비율을 탐색하고, 이중 언어 능력과 다양한 도메인·태스크에 대한 성능을 균형 있게 확보하기 위해 Weight Merging을 포함한 다양한 실험을 수행하였습니다. 또한 학습 시퀀스에서 이미지 토큰이 텍스트의 앞이나 뒤 한쪽에 고정되면, 모델이 실제 내용보다 입력 형식이나 토큰의 위치 자체를 단서로 삼는 위치 편향을 학습할 가능성이 있습니다. 이를 완화하기 위해 이미지와 텍스트의 배치 순서를 앞·뒤 동일한 비율로 무작위화하여, 입력 구성이 달라지더라도 위치 정보가 아닌 실제 시각·언어 내용에 근거해 추론하도록 데이터를 구성하였습니다.

이러한 절차를 거쳐 학습 단계와 목적에 맞는 세 갈래의 이미지 데이터를 확보했습니다.

이미지-텍스트(IT2T): 멀티모달 사전학습 단계에서는 품질· 난이도 평가 결과를 바탕으로 인식 중심 데이터에서 추론 중심 데이터로 점진적으로 학습이 이루어질 수 있도록 커리큘럼 기반의 데이터 구성을 적용하였습니다. 이어지는 다중 태스크 미세 조정 학습을 위해 문서를 깊이 이해하는 능력을 목표로 문서향 데이터를 집중 구축했습니다. 차트·표·인포그래픽처럼 텍스트와 시각 정보가 촘촘히 얽힌 문서를 정확히 읽고 추론하는 능력을 핵심 역량으로 정의하고, 텍스트·문서 인식, 차트 이해 및 추론, 인포그래픽 질의응답, 멀티모달 지시 수행 등 주요 능력을 확보할 데이터를 구축·선별했습니다. 단순히 양을 늘리기보다 벤치마크와 실제 사용에서 나올 법한 질문 유형 분포와 선호되는 답변의 형태를 분석해 데이터 설계에 반영했고, 생성된 데이터셋으로 학습 및 성능 측정을 진행한 후, 그 결과를 바탕으로 데이터 품질 오류와 데이터 양적 부족 여부를 진단하였습니다. 이를 통해 취약 영역을 보강하는 루프를 반복 수행함으로써 최종 학습 데이터의 완결성을 확보했습니다.

이미지-음성-텍스트(IST2T): Omni 모델은 이미지와 음성을 개별적으로 처리하는 것이 아니라 하나의 장면 내에서 통합적으로 이해해야 하므로, 두 모달리티를 함께 활용해야만 정답을 도출할 수 있는 복합 모달리티 데이터가 핵심입니다. 그래서 IST2T는 한 장면을 눈(시각)과 귀(음성)로 동시에 이해해야 답에 이르도록 설계했습니다. 가장 공들인 부분은 ‘단일 모달리티 지름길’을 차단하는 것이었습니다. 멀티모달 데이터를 구성할 때, 단일 모달리티만으로 정답 도출이 가능하면 모델이 상대적으로 쉬운 단서에만 의존하여 학습할 위험이 있습니다. 이를 방지하기 위해 앞서 언급한 품질·난이도 평가 프로세스를 통해 이미지를 보지 않고 텍스트 정보만으로 해결 가능한 샘플을 정교하게 걸러내어 제거했습니다. 이후 이미지와 음성 단서를 반드시 함께 활용하고 교차 참조해야만 정답을 도출할 수 있도록 데이터 완성도를 높였습니다. 이렇게 얻어진 데이터를 객관식, 주관식, 사고 서술형 세 형태로 구성하고 영어와 한국어 데이터 분포를 균형 있게 확보했습니다. 한편 이미지·음성·텍스트가 함께 정렬된 데이터는 시각-언어나 음성-언어 조합과 달리 공개된 자원이 충분치 않아 대부분을 직접 구축해야 했습니다. 영상은 화면(이미지)과 발화(음성)가 자연스럽게 함께 담겨 있어 좋은 원천이 되지만, 원본을 그대로 학습에 쓸 수 없고 라이선스 문제도 함께 따라옵니다. 그래서 저작권이 확보된 한국어 영상 데이터를 원천으로 마련하고, 여기에서 다양한 조건의 학습 데이터를 생성하는 데 공을 들였습니다.

이미지-음성(IS2T): 이미지와 음성을 함께 이해하는 능력을 위해 기존 이미지-텍스트 데이터의 태스크 별 구성 비율을 최대한 유지하면서 음성을 합성해 결합했습니다. 고품질이면서 단일 이미지 조건을 만족하는 데이터를 우선 선별하고, 샘플당 최대 5턴·데이터셋 별 상한을 적용해 품질과 균형을 함께 잡았습니다. 이 데이터는 음성 합성이 핵심인 만큼, 합성된 음성이 특정 목소리에 치우치지 않고 다양한 화자를 폭넓게 반영하도록 하는 데 가장 공을 들였습니다. 모델이 소수의 정형화된 목소리에만 익숙해지면 실제 사용 환경의 다양한 발화에 취약해지기 때문입니다. 이를 위해 문장 길이에 따라 합성 방식을 나누는 한편, 언어별로 최대 2,100명에 이르는 화자를 균등 분포로 배정해 어느 한 목소리도 과도하게 반복되지 않도록 함으로써 폭넓은 화자 다양성을 확보했습니다.

음성이 포함된 학습 데이터는 모델이 소리를 정확히 텍스트로 옮기는 인식 능력부터, 소리 속에 담긴 맥락과 지시를 파악해 답을 도출하는 이해 능력, 그리고 화면용 텍스트와 발화용 음성을 유기적으로 분리하여 출력하는 고도화된 의사소통 능력까지 단계별로 확장할 수 있도록 구성했습니다. "양적 확장과 질적 정제를 동시에 달성한다"는 기조 아래, 입력(인식 및 이해)과 출력(응답 생성)의 전 과정을 체계적인 표준화 파이프라인으로 구축했습니다.

1.2.1. 데이터 구축 표준화

수집·확장: 음성 모델의 뼈대가 되는 다국어 음성 인식(ASR) 데이터 뿐 아니라 음성 번역(S2TT)과 음성 질의응답(SQQA) 태스크를 포함하는 다양한 음성 데이터셋을 수집·생성하고, 자체 데이터 정제 파이프라인을 통해 고품질의 대규모 데이터 풀을 구축하였습니다. 또한 최근 우수한 성능을 보인 글로벌 공개 음성 모델들의 학습 데이터 구성을 면밀히 분석하여, 다양한 발화 환경과 도메인을 포괄하는 대규모 공인 데이터셋을 추가로 도입하였습니다. 이를 통해 단순히 정형화 된 문장을 낭독하는 음성에 그치지 않고 자연스러운 대화, 다자간 회의, 방송, 다양한 소음이 섞인 환경 등 실제 세상의 다채로운 음향 조건을 포괄하도록 했습니다.

정제와 필터링: 수집된 방대한 음원과 스크립트를 실제 학습에 바로 활용할 수 있도록 라벨의 통일성을 확보했습니다. 모든 음원은 동일한 오디오 샘플링 레이트(Sampling Rate)로 맞추고, 스테레오(Stereo) 음원은 모노(Mono)로 변환하여 입력 형식을 표준화했습니다. 텍스트 스크립트 내부의 웃음 소리(<LAUGH>)나 배경 소음(<NOISE>) 같은 비언어적 토큰도 데이터 구성 시에 고려하여 정제하였습니다. 특히 의사 라벨링(Pseudo Labeling)을 통해 확보한 데이터셋의 경우, 다양한 모델을 교차 활용한 문자 오인식률 기반 검증법을 적용해 품질이 기준 미달인 음성 샘플들을 선제적으로 필터링했습니다.

태스크 별 카탈로그화: 단순히 데이터를 대량으로 투입하는 방식에서 벗어나, 데이터의 특성과 목적에 따라 체계적으로 분류했습니다. 음성 인식 데이터는 평가 대상과의 연관성 및 환경적 특성을 기준으로 타겟 관련 유사 데이터, 범용 발화 데이터의 두 가지 그룹으로 카탈로그화했습니다. 이렇게 구조화된 데이터 관리 체계는 추후 성능 최적화를 위한 데이터 믹싱 및 샘플링 실험의 단단한 기반이 되었습니다.

Omni 모델은 텍스트 뿐 아니라 음성으로도 응답을 생성합니다. 그런데 음성 출력은 텍스트 출력과 성격이 달라서, "무엇을 답하느냐"만큼이나 "그 답이 귀로 듣기 좋은가"가 응답 품질을 좌우합니다. 수학 공식, 소스 코드, 복잡한 테이블, 다양한 출력 포맷(JSON, HTML, Markdown 등)이 포함된 텍스트를 음성으로만 전달하면 발화 품질이 급격히 저하되고 사용자의 인지 부하가 가중됩니다. 화면으로 보면 한눈에 들어올 수학 공식이나 코드 블록을 음성이 한 줄씩 읽어 내려가는 상황이 대표적입니다.

글로벌 선행 모델들의 음성 응답 패턴을 벤치마킹한 결과, 음성 출력 품질을 해치는 세 가지 기술적 공백을 확인했습니다. 텍스트를 그대로 직독하면서 생기는 흐름 단절, 수식·화학식을 잘못 읽어내는 발화 할루시네이션(Hallucination), 그리고 까다로운 도메인에서 아예 음성 출력을 포기하는 응답 거절(Refusal)입니다. 세 가지 모두 사용자가 모델의 음성 응답을 신뢰하기 어렵게 만드는 지점입니다.

이를 정면으로 돌파하기 위해, 인위적인 데이터 필터링 없이 모든 도메인에서 안정적인 상호작용을 보장하는 음성-텍스트 분리형 복합 응답(Dual Response) 데이터셋 구축 파이프라인을 설계했습니다. 핵심 아이디어는 귀로 들어야 할 정보와 눈으로 봐야 할 정보를 분리하여, 음성은 음성답게 흐르고 화면은 화면답게 정보를 담도록 출력의 역할을 나눈 것입니다. 원본 데이터 유형의 성격에 따라 응답 형태를 세 가지로 세분화해 가공했습니다.

• Type 1 (추론 및 문제 풀이 중심 도메인): 정교한 수식 풀이나 논리 전개가 필요한 STEM 영역 데이터입니다. 청각적 가독성을 극대화할 수 있도록 발화 구조를 [문제 정의 요약 ➔ 해결 프로세스 전략 ➔ 최종 정답 및 결론 요약]의 3단계로 구조화하여 구축했습니다. 복잡한 풀이도 사람이 설명하듯 단계적으로 들려주어, 사용자는 화면을 보지 않고도 논리의 흐름을 따라갈 수 있습니다.
• Type 2 (코드 및 시각 자료 필수 도메인): 소스 코드 블록이나 긴 테이블처럼 음성 전사가 불가능하거나 비효율적인 데이터입니다. 청각적으로는 [문제 정의 요약 ➔ 해결 전략]까지만 발화한 뒤, "자세한 코드 결과는 화면의 텍스트 답변을 참고해 주시기 바랍니다"와 같이 자연스럽게 화면(시각 자원)을 참조하도록 유도합니다. 음성이 무리하게 코드를 읽어 내려가는 대신, 들을 것과 볼 것을 자연스럽게 안내해 옴니모달 출력의 강점을 살립니다.
• Type 3 (일반 대화 및 단답형 도메인): 핵심 메시지를 그대로 전달해도 무방한 범용 데이터입니다. 음성 대화에 최적화되도록 원본 응답을 자연스러운 구어체 톤 앤 매너로 변형·요약 가공했습니다. 일상적인 질문에는 군더더기 없이 사람과 말하듯 주고받는 응답을 제공합니다.

여기에 더해, 어떠한 유형이든 공통으로 적용되는 정교한 텍스트 정규화(Text Normalization)에도 공을 들였습니다. 수식 기호, 특수문자, LaTeX 문법처럼 그대로 읽으면 오독되기 쉬운 표현을 음성 생성 전에 문맥에 맞춰 읽기 자연스러운 형태로 변환함으로써, 앞서 짚은 발화 할루시네이션을 근본적으로 줄였습니다. 이러한 Dual Response 설계를 통해 믿:음 K 2.0 Omni Basic은 어떤 도메인의 질문이든 거절이나 오독 없이 안정적인 음성 응답을 생성하며, Omni 모델의 음성 출력 경험을 한층 자연스럽게 끌어올렸습니다.

단일 모달리티에서는 무해한 입력이라도 다른 모달리티와 결합될 경우 유해한 맥락을 형성할 수 있습니다. 이러한 교차 모달 환경의 복합 위협에 대응하기 위해, 안전성 평가는 세 가지 모달리티(텍스트·이미지·음성)를 입력 단계에서 교차 조합하여 총 6개의 입력 유형을 모두 포괄하도록 설계하였습니다. 입력 유형은 앞서 정의한 이미지 포함 시나리오 3종(IT2T·IST2T·IS2T)과 이미지가 포함되지 않은 시나리오 3종(T2T, ST2T, S2T)으로 구성됩니다.

수집·확장: 웹에서 수집한 데이터는 유해 카테고리 분포가 불균형하고 유해성(Toxicity) 수준의 편차가 커 정교한 안전성 학습에 한계가 있었습니다. 이를 보완하기 위해 자체 데이터 구축 파이프라인을 적용하여, 텍스트는 대부분을 재작성하고 멀티모달 데이터는 이미지 원본만 유지한 채 나머지 요소를 새롭게 구성하였습니다. 또한 두 개 이상의 모달리티를 활용하는 샘플에서는 특정 모달리티만으로 유해성을 판단할 수 있는 경우를 제거하여, 여러 모달리티의 정보를 함께 고려해야만 유해성을 식별할 수 있도록 데이터셋을 구축하였습니다.

평가·선별: 확장된 질의 후보군을 대상으로 LLM-as-judge를 활용하여 명확성, 유창성, 유해성, 관련성, 이미지 의존성 등의 기준에 따라 정량 평가를 수행하였습니다. 이를 통해 원천 데이터에 존재하던 유해성 수준과 난이도의 편차를 완화하고, 학습에 적합한 질의를 선별하였습니다. 이후 특정 유해 유형에 데이터가 편중되지 않도록 유해 카테고리 분포를 세밀하게 재조정하여 전체적인 데이터셋의 균형을 맞췄습니다.

모달리티 분리: 모달리티 확장은 두 원천 데이터 계열(T2T·IT2T)의 텍스트를 음성으로 변환하는 방식으로 수행하였으며, 음성은 전량 TTS 모델을 통해 합성하였습니다. 텍스트 전체를 음성으로 변환하여 S2T·IS2T 데이터를 구성했고, 텍스트를 의미적으로 독립적인 두 문장으로 분리한 뒤 한 문장을 무작위로 음성으로 변환하여 ST2T·IST2T 데이터를 구성했습니다. 문장 분리 시에는 두 문장이 서로 정답을 유추할 수 있는 단서를 제공하지 않도록 독립성을 검증하였으며, 이를 통해 두 모달리티를 함께 이해해야하는 교차 입력 환경을 구축하였습니다.

안전성 능력을 정교하게 향상시키기 위해, 선호도 학습(Preference Learning)을 위한 데이터를 구축하였습니다. 'Chosen 응답'은 KT RAI(Responsible AI) 정책에 따라 명확한 거절과 그 사유를 포함하되, 불필요한 설명은 최소화하고 사용자에게 필요한 안전한 대안을 제공하도록 구성하였습니다. 반면 'Rejected 응답'은 긴급 상황을 가정하거나 강한 확신을 요구하는 적대적 프롬프팅(Adversarial Prompting) 기법을 적용하여 생성하였습니다. 이를 통해 겉보기엔 유창하고 설득력 있지만 실제로는 안전성 정책을 위반하는 '매력적인 오답(Hard Negative)'을 의도적으로 구축하였으며, 모델이 안전성 정책의 미묘한 경계를 보다 명확하게 학습할 수 있도록 하였습니다. 이러한 선호쌍 구조는 모델이 단순한 허용·거절 이분법을 넘어 안전성 판단의 미묘한 차이를 학습할 수 있도록 설계되었습니다. 모든 선호쌍은 질의, Chosen 응답, Rejected 응답, 안전성 카테고리, 생성 출처, 검수 상태를 함께 포함하여 데이터의 생성 근거와 검수 이력을 추적할 수 있도록 구성하였습니다.

그림 2. 믿:음 K 2.0 Omni Basic 모델의 구조와 작동 기제

믿:음 K 2.0 Omni Basic은 텍스트, 이미지, 음성을 함께 이해하고 그 결과를 텍스트와 음성으로 생성하는 Omni 모델입니다. 텍스트만 주고받던 대화를 넘어, 사용자가 보여주는 이미지와 들려주는 음성까지 받아들여 그 맥락에 맞게 답하는 것을 목표로 개발했습니다. 그림 2와 같이 믿:음 K Omni Basic 모델은 입력을 이해하는 부분과 응답을 생성하는 부분으로 구성됩니다. 입력단에서 텍스트는 Thinker가 직접 받아들이고, 이미지와 음성은 각각 시각 인코더와 음성 인코더가 Thinker가 이해할 수 있는 표현으로 변환합니다. 핵심 추론은 Thinker가 담당하여 응답을 텍스트로 직접 생성하고, 음성 응답이 필요할 때는 Talker가 Thinker의 출력을 적절한 음성 토큰으로 변환한 뒤 실제 음성 파형으로 복원합니다. 

믿:음 K 2.0 Omni Basic은 KT가 자체 개발한 언어, 시각, 음성 기술을 하나의 모델로 통합해 만들었습니다. 시각 인코더는 KT-CLIP 을 기반으로 시각 정보를 표현하도록 구성했고, 음성 인코더는 자체 개발한 인코더로 입력 음성을 압축된 시퀀스 표현으로 변환합니다. Thinker는 믿:음 2.0 Base Instruct 에 M-RoPE 를 적용해 텍스트, 이미지, 음성을 하나의 문맥 안에서 함께 다룰 수 있도록 했습니다. Talker는 음성 토큰을 생성하는 언어 모델을 먼저 확보한 뒤 이를 기반으로 Omni 모델로 확장했습니다.

각 모듈의 역할은 다음과 같습니다.

이해하는 부분 — Thinker와 입력 처리: Thinker는 모델의 중심이 되는 추론 모듈로, 멀티모달 인식 → 융합·이해 → 추론·응답 계획의 과정을 거칩니다. 텍스트·이미지·음성에서 추출된 정보를 하나의 문맥으로 융합해 사용자의 의도에 맞는 응답을 텍스트로 생성하고, 동시에 어떤 말투와 어조로 답할지를 결정하는 발화 스타일 정보를 Talker로 전달합니다. 텍스트는 토크나이저(Text Tokenizer)를 거쳐 Thinker가 직접 받아들이지만, 이미지와 음성은 인코더와 어댑터를 거쳐 Thinker가 이해할 수 있는 토큰 표현으로 변환됩니다.

• 시각 인코더는 이미지를 입력 받아 그 안에 담긴 시각적 특징을 추출합니다. 이미지를 고정된 크기로 변형하지 않고 원본 해상도를 최대한 유지하는 Native Resolution 방식으로 학습하여 다양한 크기의 이미지를 유연하게 다룰 수 있습니다. 이렇게 얻은 특징은 Thinker가 해석할 수 있는 형태로 변환되어 전달됩니다.
• 음성 인코더는 입력 음성을 음향 특징(Acoustic Feature)으로 변환한 뒤, 자체 개발한 인코더로 시간적 정보를 압축해 표현합니다. 이렇게 얻은 음성 표현은 시각적 특징과 마찬가지로 Thinker가 해석할 수 있는 형태로 변환되어 전달됩니다.

생성하는 부분 — Talker: Talker는 음성 출력을 담당하는 모듈로, Thinker가 전달한 응답 내용과 발화 스타일을 바탕으로 음성 토큰을 생성한 뒤 이를 실제 음성 파형으로 변환합니다. 이 과정을 통해 믿:음 K 2.0 Omni Basic은 텍스트 답변 뿐 아니라 자연스러운 음성 응답까지 생성할 수 있습니다.

 

시각/음성 인코더와 언어 모델을 본격적으로 통합 학습하기에 앞서, 별도로 사전 학습된 인코더와 언어 모델 간의 표현을 정렬하기 위한 학습을 수행하였습니다. 본 단계에서는 시각-언어 데이터와 음성-언어 데이터를 분리하여 학습하였으며, 각 모달리티의 정보가 언어 모델이 이해할 수 있는 형태로 연결될 수 있도록 기초 정렬 기반을 마련하는 것을 목표로 하였습니다.

시각-언어 학습에서는 시각 인코더의 표현 왜곡 가능성을 완화하고, 시각 정보가 언어 모델과 안정적으로 연결될 수 있는 기초 정렬 기반을 마련하는 것을 목표로 하였습니다. 본 단계에서는 모델의 최대 입력 길이를 8K로 설정하고 언어 모델을 고정한 상태에서 시각 인코더와 어댑터를 학습하였으며, 이를 통해 시각 표현이 언어 모델이 처리할 수 있는 형태로 변환 · 정렬될 수 있도록 하였습니다. 지나치게 복잡하거나 추론 난이도가 높은 데이터를 학습할 경우, 시각 인코더가 기초적인 시각-언어 정렬을 충분히 확보하기 전에 특정 데이터 분포에 과도하게 적응하거나 표현이 불안정하게 변화할 수 있습니다. 따라서 본 단계에서는 시각 개체 인식, 텍스트 인식, 위치 정보 이해 등 시각 인식 관련 데이터를 활용하였습니다. 원본 해상도 및 종횡비를 유지하여 이미지를 처리하는 Native Resolution 방식의 경우, 이미지 해상도가 커지면 연산량이 과도하게 증가할 수 있습니다. 따라서 기학습된 시각 인코더의 글로벌 어텐션 레이어의 일부를 윈도우 단위의 로컬 어텐션 연산으로 변환하고 적응하는 과정을 통해 학습 및 추론 효율성을 강화하였습니다.

음성-언어 학습에서는 사전 학습된 음성 인코더와 언어 모델 간의 표현을 정렬하기 위한 학습을 수행하였습니다. 본 단계에서는 음성 정보가 언어 모델의 문맥 안에서 자연스럽게 해석될 수 있도록 음성 표현과 언어 표현 간의 정렬을 수행하고, 후속 멀티모달 통합 학습을 위한 기반을 구축하는 것을 목표로 하였습니다. 본 단계에서는 시각-언어 학습과 동일하게 언어 모델의 가중치를 고정한 상태에서 음성 인코더와 어댑터 모듈을 정렬 학습하였으며 모델의 최대 입력 길이는 8K로 설정하였습니다. 데이터셋은 모델의 다국어 발화 이해력과 음성 인식 성능을 고루 확보할 수 있도록 대규모 글로벌 데이터를 균형 있게 구성하였습니다. 학습 효율성과 정렬 성능을 극대화하기 위해 모델 구조와 방법론 측면의 최적화도 함께 진행하였습니다. 음성 특징을 압축하여 전달하는 어댑터 구조의 처리 비율을 조정하여 최적의 정보 표현력을 확보하였으며, 모델의 학습 수렴도를 높이고 최적의 가중치를 확보하기 위해 선진적인 학습률 스케줄러 체계를 도입하였습니다. 이를 통해 고정 학습률 구간에서 확보된 여러 체크포인트들을 전략적으로 결합(Merging)하고 어닐링(Annealing) 과정을 수행하였습니다.

이전 단계에서는 시각/음성 인코더와 언어 모델 간의 기초 표현을 정렬하여, 시각/음성 정보와 언어 정보 간의 상호 연결 기반을 마련하였습니다. 본 단계에서는 모든 모듈에 대한 학습을 수행함으로써, 멀티모달 성능 고도화를 위한 기반을 확보하고자 하였습니다. 이를 위해 학습 과정을 두 가지 세부 단계로 구분하였으며, Joint Cross-Modality Alignment 단계에서는 멀티모달 인식 능력 강화를, Cross-Modality Expansion and Long-context Learning 단계에서는 다중 모달리티 확장과 긴 문맥 이해 능력 향상을 각각의 목표로 설정하여 데이터 구성과 학습을 수행하였습니다.

첫 번째 단계에서는 멀티모달 인식 능력 강화를 목표로, 상대적으로 낮은 난이도의 인식 중심 시각/음성-언어 데이터를 활용하여 학습을 수행하였습니다. 본 단계에서는 복잡한 추론이나 장문 이해보다는 시각/음성 정보를 언어 모델이 안정적으로 처리할 수 있도록 기초적인 모달리티 인식 능력을 확보하는 데 중점을 두었습니다. 이를 위해 시각-언어 영역에서는 텍스트 인식, 차트 · 표 구조 이해, 위치 정보 이해 등 시각 인식 능력 강화와 기초 이해에 적합한 데이터를 학습하였고, 음성-언어 영역에서는 음성 인식, 음성 번역 등 다양한 음성 데이터를 활용하였습니다. 본 단계는 주로 시각/음성 인식과 기초 이해 중심의 데이터로 구성되어 있으므로, 모델 최대 입력 길이는 8K로 설정하였습니다.

두 번째 단계에서는 이미지와 음성이 함께 주어지는 입력까지 모델이 자연스럽게 이해하도록 모달리티 간 결합 능력을 확장하는 데 중점을 두었습니다. 앞선 단계가 시각-언어, 음성-언어처럼 하나의 모달리티와 언어 사이의 인식 능력을 강화하는 단계였다면, 이번 단계에서는 이미지와 음성이 동시에 포함된 입력을 학습해 세 모달리티의 정보를 하나의 문맥 안에서 함께 해석하는 능력을 키웠습니다. 이를 위해 추론이 필요한 고난이도 데이터와 고품질 데이터를 중점적으로 학습에 반영했습니다. 또한 더 복잡한 입력을 처리할 수 있도록 이미지의 최대 해상도를 높이고, 입력 가능한 오디오 길이와 모델의 최대 입력 길이도 함께 확장했습니다. 이를 통해 고해상도 이미지, 긴 음성, 긴 대화 문맥이 결합된 상황에서도 안정적으로 정보를 이해하고 응답할 수 있게 되었습니다.

본 학습 과정의 최종 단계에서는 학습 시점별 중간 모델을 대상으로 모델 병합 기법을 적용하였으며, 이를 통해 목표 성능 지표를 만족하는 최적의 조합을 탐색하였습니다. 각 중간 모델은 학습 진행 정도에 따라 서로 다른 파라미터 특성과 성능 양상을 보이므로, 단일 시점의 모델을 선택하는 방식만으로는 모든 모달리티와 평가 지표에서 균형 잡힌 성능을 확보하기 어려울 수 있습니다. 이에 따라 베이지안(Bayesian) 기반 이중 수준 최적화(Bi-level Optimization)를 적용하여, 다양한 중간 모델의 조합과 병합 가중치를 탐색하고 목표 성능에 부합하는 최적의 병합 구성을 도출하였습니다. 본 방식은 특정 학습 시점이나 특정 모달리티의 성능에 과도하게 의존하지 않으면서, 통합 모델 관점에서 전반적인 성능을 안정적으로 확보하는 데 중점을 두었습니다. 이를 통해 통합 모달리티 학습 과정에서 확보된 중간 모델들의 장점을 효과적으로 반영하고, 모달리티별 성능을 균형 있게 고려한 안정적인 베이스 모델을 마련하였습니다.

이전 단계에서 확보된 멀티모달 사전 학습 베이스 모델을 기반으로 모델이 사용자의 다양한 지시사항을 이해하고 멀티모달 태스크를 복합적으로 수행할 수 있도록 다중 태스크 지도 미세조정(Multi-task Supervised Fine-tuning) 학습을 수행하였습니다. 본 단계에서는 다양한 모달리티별 고유한 특화 성능을 극대화하는 동시에, 텍스트와 음성을 함께 출력하는 복합 응답(Dual Response) 능력을 고도화하여 실전 서비스 환경에 대응할 수 있는 고품질의 Omni 모델을 완성하는 것을 목표로 하였습니다. 

먼저 음성 영역에서는 개별 음성 태스크의 전문성을 극대화하기 위해 음성 인식(ASR), 음성 번역(S2TT), 음성 질의응답(SQQA) 등 각 기능에 특화된 데이터셋을 구성하여 학습을 진행하였습니다. 사전 학습 단계에서 최적화된 베이스 모델을 기반으로 다양한 태스크 특화 학습을 수행하였으며, 최적의 가중치를 도출하기 위해 여러 체크포인트 간의 결합(Merging) 실험을 다각도로 전개하였습니다. 각 태스크별 특화 모델을 결합하는 과정에서 수십여 가지의 조합을 검증하였으며, 기존 모델 대비 성능 저하를 방지하고 개별 태스크 전반에서 가장 균형 잡힌 음성 처리 능력을 발휘하는 가중치 조합을 확보하였습니다.

이후 이미지와 음성을 포함한 고품질 특화 데이터를 통합하여 두 모달리티의 전문 역량을 함께 강화하기 위한 연장 학습을 수행하였습니다. 이 과정에서 시각 영역의 핵심 역량을 텍스트·문서 인식, 차트·인포그래픽 질의응답 및 추론, 멀티모달 지시 수행 등으로 정의하고, 각 기능에 특화된 데이터셋을 구성하여 학습하였습니다. 또한 이전 단계에서 활용한 데이터 중 고품질 데이터 일부를 함께 학습에 포함하여, 기존에 확보한 멀티모달 이해 능력이 저하되지 않도록 하였습니다. 해당 단계에서는 모델의 최대 입력 길이를 12K로 설정하고 시각/음성 인코더와 어댑터는 고정한 채 Thinker 모듈을 중심으로 학습을 수행하였으며, 이를 통해 사전 학습 단계에서 확보한 멀티모달 인식 및 이해 능력을 유지·강화하는 동시에 실전 태스크 수행 역량을 고도화하였습니다.

최종 단계에서는 텍스트 응답과 음성 응답을 동시에 생성하는 복합 응답 능력 향상을 위한 미세조정 학습을 진행하였습니다. 특히 복합 발화 추론 과정에서 발생할 수 있는 특정 토큰 생성 오류와 응답 품질 저하 문제를 완화하기 위해 데이터 믹스를 재구성하고 데이터 비율을 최적화하였습니다. 또한, 발화 스타일 학습의 안정성을 높이기 위해 학습 관련 매개 변수를 세밀하게 조정하였습니다. 이를 통해 텍스트 응답과 음성 응답의 정합성을 향상시키고, 사용자의 의도에 부합하여 텍스트 및 음성 응답을 일관되게 생성할 수 있는 옴니모달 응답 체계를 구현하였습니다.

이전 단계들을 통해 믿:음 K 2.0 Omni Basic은 텍스트를 넘어 이미지와 오디오 등 다양한 형태의 정보를 이해하고 처리할 수 있게 되었습니다. 그러나 모델이 수용하는 입력 모달리티와 그 조합이 다양해짐에 따라 안전성 문제의 양상 또한 더욱 복잡해졌습니다. 기존 언어모델의 안전성 정렬은 주로 텍스트 단일 모달리티를 중심으로 이루어졌습니다. 하지만 Omni 모델의 경우 하나의 요청이 여러 모달리티를 걸쳐 표현될 수 있으며, 이 과정에서 기존 텍스트 기반 요청에서는 나타나지 않던 새로운 유형의 유해 사례가 발생할 수 있습니다. 또한 유해 정보가 개별 모달리티가 아닌 모달리티간의 결합을 통해 드러나는 경우도 존재하므로, 모델이 유해 맥락(Unsafe context)을 식별하고 적절히 대응해야 하는 난이도 또한 크게 증가합니다. 대표적인 사례로는 그림 3과 같은 교차 모달리티 기반 안전성 우회 공격이 있습니다. 사용자는 텍스트 대신 이미지나 음성에 유해 정보를 포함하거나, 유해 정보를 여러 모달리티에 분산하여 표현하는 방식으로 모델의 안전성 가드레일(Safety guardrail)을 우회하고 유해한 응답을 유도할 수 있습니다. 이러한 멀티모달 안전성 침입 위협은 단일 모달리티를 기준으로 설계된 안전성 체계만으로는 효과적으로 대응하기 어렵습니다. 이에 이번 단계에서는 멀티모달 안전성 정렬 학습을 수행하여, 일관되고 체계화된 안전성 정책에 따라 안전하면서도 사용자 친화적인 응답을 생성할 수 있는 모델을 학습하는 것을 목표로 하였습니다.

그림 3. 교차 모달리티 기반 안전성 우회 공격의 예시

믿:음 K 2.0 Omni Basic 모델의 안전성 정렬 학습은 DPO(Direct Preference Optimization) 기반의 선호도 학습(Preference Learning)을 통해 수행하였습니다. 본 학습에서는 모델이 특정 응답을 단순히 암기하는 것이 아니라, 안전성 정책의 기준과 뉘앙스를 학습하여 다양한 상황에서 정책에 부합하는 안전한 응답을 생성하도록 유도하였습니다. 특히 학습 과정에서는 두 가지 문제에 집중하였습니다. 첫 번째는 파괴적 망각(Catastrophic forgetting) 입니다. 기존 연구에서 알려진 바와 같이, 안전성 정렬 과정에서 안전성 데이터에 과도하게 적합될 경우 기존에 학습한 일반 질의응답 능력과의 지식 간섭(Knowledge interference)이 발생하여 모델의 전반적인 성능이 저하될 수 있습니다. 특히 Omni 모델의 경우, 지원하는 태스크의 범위가 넓고 복잡하기 때문에 이러한 성능 저하가 더욱 크게 나타날 수 있습니다. 두 번째는 과도한 거절(Over-Refusal) 문제입니다. 모델이 지나치게 안전성만을 강조할 경우 정상적인 요청까지 거절하는 현상이 발생할 수 있으며, 이는 실제 서비스 환경에서 사용자의 경험을 저해하는 주요 원인 중 하나가 될 수 있습니다. 이러한 문제를 해결하기 위해 안전성 데이터와 함께 기존 단계에서 학습하였던 다양한 범용 질의응답 데이터를 혼합하는 데이터 믹싱 전략을 적용하고, 광범위한 하이퍼파라미터 탐색과 데이터 비율 최적화를 수행하였습니다. 그 결과 안전성 성능을 향상시키면서도 일반 질의응답 성능 저하를 줄일 수 있었습니다. 

KT가 정의하는 안전성이란 모든 민감 질문에 일률적으로 거절 응답을 생성하는 것을 의미하지 않습니다. 유해 요청에는 명확하게 대응하되, 필요한 경우 근거 기반의 안내와 설명을 제공하고 사회적 논쟁 주제에 대해서는 균형 잡힌 관점을 유지하며 정서적 대화에서는 적절한 공감을 제공할 수 있어야 합니다. 이러한 목표를 달성하기 위해 데이터 다양성과 응답 스타일 일관성 확보에 중점을 두어 안전성 정렬 학습을 진행하였으며, 이를 통해 복잡한 멀티모달 환경에서도 안정적으로 작동하는 KT의 멀티모달 안전성 체계를 구축할 수 있었습니다.

지금까지 믿:음 K 2.0 Omni Basic은 텍스트, 이미지, 음성을 동시에 이해하고, 사용자의 의도에 적합한 응답을 생성할 수 있도록 학습되어 왔습니다. 하지만 옴니모달 서비스의 사용자 경험은 모델이 입력 내용을 이해하는 것만으로는 완성되지 않습니다. 사용자의 요청에 적절한 답변을 생성하고, 이를 텍스트와 음성으로 자연스럽게 전달할 때 비로소 완전한 대화 경험이 제공됩니다. 특히 음성 응답의 경우, 답변의 내용이 정확하더라도 오디오 품질, 발화 속도와 발음, 억양과 어조, 문장 간 연결이 자연스럽지 않다면 사용자가 체감하는 품질은 크게 저하될 수 있습니다. 또한 동일한 문장이라도 어떠한 억양과 톤으로 전달되는지, 대화 맥락에 적합한 어조를 유지하는지에 따라 사용자 경험은 크게 달라질 수 있습니다.

이번 단계에서는 Talker 모듈 내부의 음성 디코더가 Thinker의 응답을 안정적인 음성 발화로 연결할 수 있도록 음성 디코더 정렬 학습을 수행하였습니다. Thinker가 생성한 응답은 곧바로 음성 파형이 되는 것이 아니라, Talker 내부에서 음성 생성에 적합한 표현으로 변환된 뒤 음성 토큰을 거쳐 최종 음성으로 생성됩니다. 본 단계의 정렬은 언어 기반 응답과 음성 생성 표현 사이의 간극을 줄이고, 모델이 이해한 의미와 대화 문맥, 사용자의 지시사항, 발화 스타일이 음성 생성 과정에서도 일관되게 유지되도록 하는 것을 목표로 합니다. 특히 멀티모달 대화에서는 사용자의 입력이 텍스트에만 국한되지 않습니다. 이때 모델은 멀티모달 입력의 의미를 정확히 이해하며, 해당 문맥에 적합한 방식으로 응답을 생성할 수 있어야 합니다. 음성 디코더 정렬 학습 단계에서는 이러한 복합적인 문맥 정보가 음성 생성 과정에서도 일관되게 유지되도록 학습을 수행하였으며, 응답의 의미와 발화 스타일이 음성 출력 과정에서 왜곡되지 않도록 하였습니다. 이를 위해 다양한 입력 상황과 발화 유형을 고려한 학습 데이터를 구성하였고, 응답 내용과 음성 표현 사이의 연결성을 강화하는 방향으로 학습을 최적화하였습니다. 특히 이미지, 음성, 텍스트가 함께 주어지는 멀티모달 입력 상황을 고려하여, 모델의 응답 의도가 음성 출력으로 안정적으로 이어지도록 정렬하였습니다. 또한 음성 응답 구간과 발화 스타일 정보를 구분하여 학습에 반영함으로써, 음성 디코더가 발화 내용과 발화 스타일을 함께 학습할 수 있도록 하였습니다. 이 과정에서 사용자의 지시사항을 충실히 따르면서도 어색한 끊김이나 불안정한 발화가 줄어들도록 학습하였으며, 단순히 문장을 읽어주는 수준을 넘어 대화 상황에 적합한 자연스러운 음성 응답을 생성하는 데 중점을 두었습니다. 

실제 서비스 환경에서는 음성 응답 품질뿐 아니라 응답 지연 시간 역시 중요한 요소입니다. 사용자가 답변을 듣기까지 오랜 시간을 기다리거나 발화 도중 흐름이 끊기는 경우 대화의 몰입감이 크게 저하될 수 있습니다. 이에 본 단계에서는 전체 응답을 생성한 뒤 한 번에 출력하는 방식이 아니라, 모델의 응답 생성 흐름과 음성 발화 흐름이 순차적으로 맞물리는 스트리밍 음성 디코더 기반의 학습 및 추론 구조를 함께 고려하였습니다. 즉, Thinker가 생성한 응답 표현이 Talker 내부 음성 디코더를 거쳐 음성 토큰으로 변환되는 과정을 일정 청크(Chunk) 단위로 나누어 처리할 수 있도록 하여, 응답 생성과 음성 생성 사이의 지연을 줄이고 보다 자연스러운 발화 흐름을 유지할 수 있도록 하였습니다. 이를 통해 실제 서비스 환경에서 응답 지연을 줄이는 동시에 자연스러운 음성 상호작용을 제공할 수 있는 기반을 마련하였습니다.

최종 모델에 이르기까지 저희는 다양한 기술적 가설을 수립하고 검증했으며, 그 중에는 최종 설계에 반영되지 않은 시도들도 포함되어 있습니다. 대표적으로 모달리티별 Loss Reweighting과 시각-언어 및 음성-언어 특화 모델을 사후 결합하는 Multimodal Model Merging 기법 등이 있습니다. 채택된 설계만큼이나 특정 방법을 채택하지 않은 이유와 그 과정에서 얻은 인사이트 역시 모델의 완성도를 높이는 중요한 요소라고 판단하였으며, 그 과정을 함께 공유하고자 합니다.

Loss Reweighting은 모달리티마다 학습 난이도와 수렴 속도가 다를 것이라는 가설에서 출발하였습니다. 이를 검증하기 위해 각 모달리티를 소규모 데이터로 사전 수렴시킨 뒤, 해당 손실(Loss)의 역수를 가중치로 활용하는 Static Loss Reweighting 방식을 적용하였습니다. 그러나 실험 결과, 사전 수렴 단계에서 가장 낮은 손실에 도달했던 모달리티가 실제 통합 학습 환경에서는 비교적 높은 손실값을 보이는 등 단일 모달리티 환경에서 측정한 고정 가중치만으로는 멀티모달 동시 학습의 복잡한 상호작용을 충분히 설명하기 어렵다는 점을 확인하였습니다. 결과적으로 해당 기법은 최종 모델 설계에 반영되지 않았으나, 이 과정을 통해 모달리티 간의 간섭 현상과 데이터 분포 변화가 학습 과정에 미치는 영향을 일부 파악할 수 있었습니다.

또한, 시각-언어 및 음성-언어 태스크 특화 모델을 각각 독립적으로 학습한 후, 모델 병합(Model Merging)을 통해 두 모달리티의 전문 역량을 효과적으로 통합하는 방향을 검토하였습니다. 이를 위해 Linear Interpolation, Sparsification, SVD, Optimization 계열의 다양한 병합 기법을 비교하였습니다. 그러나 대부분의 방법은 기존 단일 모델 기반 미세 조정 결과를 크게 상회하지 못하였으며, 특히 각 모델이 집중하지 않은 태스크에 대해서는 병합 이후 기존 성능을 온전히 유지하지 못하는 경향이 두드러졌습니다. 추가 분석을 위해 두 모달리티의 태스크 벡터(Task Vector)를 비교한 결과 두 모델의 업데이트 방향에 상당한 차이가 존재함을 확인하였는데, 이는 태스크 특화 학습이 진행될수록 모델 간의 가중치 공간의 거리가 증가하여 병합 난이도가 높아지는 구조로 해석할 수 있습니다. 해당 접근법이 최종 모델 설계에 반영되지는 않았지만, 본 실험을 통해 모달리티 간 표현 공간 정렬과 태스크 벡터의 구조가 모델 병합 성능에 중요한 영향을 미친다는 점을 확인하였습니다. 현재는 이를 바탕으로 효과적인 Multimodal Model Merging 기법을 연구하고 있습니다.

멀티모달 모델 평가에서 흔히 발생하는 문제 중 하나는 특정 입력 조합에서는 강한 성능을 보이지만, 다른 조합에서는 급격히 성능이 저하되는 불균형입니다. 믿:음 K 2.0 Omni Basic이 이러한 과제를 효과적으로 해결하였는지 검증하기위해, 시각-언어, 음성-언어, 시각-음성-언어 세 영역에 대한 정량 평가를 수행하였습니다.

시각-언어 평가에서는 문서 이해, 한국 특화, 이미지 기반 지시 이행 영역에서 비교 모델 대비 뚜렷한 경쟁력을 확인했습니다. 단순 이미지를 '보는' 수준을 넘어, 문서·표·차트 안의 구조와 의미를 읽고 해석하는 능력에서 강점이 두드러졌으며 문서 정보 추출, 데이터 관계 해석, 수치적 추론처럼 실무와 가까운 태스크일수록 비교 모델과의 차이가 더 선명하게 나타났습니다.

음성-언어 평가에서는 음성 인식과 음성 번역 두 지표 모두에서 비교 모델 전체를 상회했습니다. 특히 한국어와 구어체 환경에서 우수한 성능을 보였으며, 다화자 환경에서도 배경 소음의 영향을 상대적으로 적게 받으면서 주요 발화자를 중심으로 안정적인 전사 성능을 보임을 확인할 수 있었습니다. 믿:음 K 2.0 Omni Basic은 단순 음성 전사를 넘어, 발화의 의미와 맥락을 반영하여 텍스트로 표현하는 능력을 갖추고 있음을 확인했습니다.

시각-음성-언어 평가에서는 복합 모달리티 입력 환경에서의 성능을 검증했습니다. 이미지·음성·텍스트가 동시에 주어지는 환경은 단일 모달리티 입력 환경보다 복잡한 조건임에도, 믿:음 K Omni Basic은 옴니모달 인식과 추론 모두에서 우수한 성능을 보였습니다.

그림 4. 정량평가 결과

세 영역에 걸친 정량 평가 결과는 믿:음 K 2.0 Omni Basic이 특정 모달리티에 편중되지 않고 균형 잡힌 성능을 갖추고 있음을 보여줍니다. 특히 사용자가 텍스트·이미지·음성 중 어떤 형태의 요청을 입력하더라도 우수한 이해 능력과 응답 생성 능력을 보였다는 점에서, 다양한 입력 환경에 대한 모델의 일반화 성능을 확인할 수 있었습니다.

정량 평가를 통해 확인된 믿:음 K 2.0 Omni Basic의 실용성과 실제 서비스 적용 가능성을 정성적으로 검증하기 위해, 전문 평가단을 대상으로 한 블라인드 테스트를 진행했습니다. 평가의 엄밀성을 높이기 위해 수십 명의 전문 평가단이 참여하여 2,500개 문항으로 구성된 시청각 복합 평가셋을 검증하였으며, 다수 평가자 기반 교차 평가와 평가 기준 정렬 과정을 거쳐 유의미한 평가자 간 일치도(Fleiss' Kappa)를 확보하였습니다.

그림 5. 시각-언어 이해 및 음성 합성 영역의 정성 평가 결과

시각-언어 평가에서는 단순한 시각 인지를 넘어선 깊이 있는 ‘이해와 추론' 능력이 두드러졌습니다. 다양한 평가 영역에서 비교 모델을 상회하는 결과를 보였으며, 특히 한국의 사회·역사적 맥락을 파악하는 '한국 특화' 영역과 정치·재난 등 복합적인 상황을 인지하는 '상황 이해’ 영역에서 강점을 보였습니다. 또한 이미지 내 객체 간의 물리적 관계를 이해하고 미래 상황을 예측하는 시각 장면 이해 능력에서도 비교 모델 대비 우수한 성능을 확인할 수 있었습니다. 다만, 수치 계산이 깊게 관여하는 고난도 수학 및 물리 문제 풀이 영역에서는 상대적으로 낮은 성능을 보였으며, 향후 논리 추론(Reasoning) 역량의 고도화가 필요한 영역으로 확인되었습니다.

음성-언어 평가 결과, 믿:음 K 2.0 Omni Basic은 실제 서비스 환경에서 활용 가능한 수준의 안정적인 음성 품질을 보였습니다. 음성 합성(TTS) 평가에서는 AICC, AI 스피커, 미디어의 다양한 서비스 도메인에 걸쳐 비교 모델 대비 우수한 성능을 기록했습니다. 특히 감정 표현이 중요한 미디어 영역과 호흡이 긴 발화 처리에서 강점을 보였으며, 다양한 연령대와 성별의 평가자 집단에서도 점수 편차가 상대적으로 작게 나타나 일관된 음성 품질을 제공하는 특성을 확인할 수 있었습니다. 음성 번역 평가에서도 비교 모델과 대등한 수준의 성능을 보였으며, 문맥을 자연스럽게 이어가는 '유창성' 측면에서 높은 평가를 받았습니다. Omni 모델의 정량·정성 평가 방법론에 대한 자세한 내용은 다음 글 에서 확인하실 수 있습니다.

멀티모달 AI의 안전성은 단순히 위험한 요청을 거절하는 능력을 넘어, 여러 모달리티가 결합된 상황에서도 일관된 안전한 판단을 유지할 수 있는지를 함께 평가해야 합니다. 이를 위해 영어 및 한국어 환경에서 텍스트, 이미지, 음성이 단독 또는 복합적으로 입력되는 다양한 시나리오를 구성하여 모델의 안전성을 평가했습니다. 정량 평가는 다음 두 가지 관점에서 수행하였습니다. 첫 번째는 폭력, 불법 행위 등 실제 서비스 환경에서 차단이 필요한 유해 요청에 대한 종합 안정성 평가입니다. 두 번째는 사용자가 의도적으로 안전장치 우회를 시도하는 상황에서 이를 방어할 수 있는 강건성 평가입니다. 평가 결과 믿:음 K 2.0 Omni Basic은 Qwen2.5-Omni-7B와 Qwen3-Omni-30B를 포함한 주요 오픈소스 멀티모달 모델 대비 우수한 성능을 기록하였으며, 현재 최고 수준으로 평가받는 Gemini 계열의 비공개(Closed) 모델과 비교하였을 때에도 경쟁력 있는 안전성 성능을 확인할 수 있었습니다.

정량 평가에 더하여 혐오 표현, 자해, 성적 유해성, 폭력, 개인정보·프라이버시 침해, 정치·종교적 중립성을 총 6개의 핵심 리스크 영역으로 정의하고, 각 영역에 대한 극단적 유해 평가셋을 구성하여 정성 평가를 수행하였습니다. 다양한 모달리티 조합 환경에서 유해 응답 생성 여부를 검토한 결과, 믿:음 K 2.0 Omni Basic 모델은 유해 응답을 생성하지 않으며 모달리티 조합의 변화에도 안전성 기준이 일관되게 유지되는 결과를 보였습니다. 특히 치명적인 수준의 유해 응답이 발견되지 않았다는 점에서 실제 서비스 환경에 적용 가능한 수준의 안전성 역량을 확인할 수 있었습니다.

멀티모달 AI의 안전성 평가에서 중요한 점은 “유해 요청에 대한 거절”과 “유해성에 대한 이해”가 결코 같은 능력은 아니라는 것입니다. 단순히 유해 요청을 차단하는 것을 넘어, 입력에 포함된 위험 요소를 정확히 식별하고 그 맥락을 이해하여 설명하는 능력 또한 중요합니다. 실제 서비스 환경에서는 단순한 거절 응답만으로는 충분하지 않은 경우가 많습니다. 콘텐츠 검토 및 사용자 보호 기능이 효과적으로 동작하기 위해서는 위험 요소를 정확히 이해하고, 사용자에게 적절한 안내와 대안을 제공할 수 있어야 합니다. 믿:음 K 2.0 Omni Basic은 이러한 방향성을 바탕으로 안전성 이해 및 대응 능력을 지속적으로 고도화해 나갈 예정입니다.

모델 학습과 평가 과정이 종료되면 다음 과제는 제한된 컴퓨팅 자원 내에서 “모델을 얼마나 빠르고 효율적으로 사용자에게 제공할 것인가” 입니다. 특히 다양한 모달리티를 통합하여 처리하는 Omni 모델을 서빙하는 것은 이종 모달리티를 함께 처리한다는 복잡성으로 인해 텍스트 입/출력만 처리하는 LLM을 서빙하는 것보다 기술적으로 복잡성이 높습니다. 또한 Omni 모델 내에서도 모델 아키텍처 및 모달리티 결합 방식 등에 따라 서빙 및 추론 최적화의 방향이 달라지게 됩니다. 따라서 본격적인 논의에 앞서, 추론 대상이 되는 모델인 “믿:음 K 2.0 Omni Basic 모델”이 구체적으로 어떠한 특징을 가지고 있는지 먼저 살펴보고자 합니다.

추론 관점에서 믿:음 K 2.0 Omni Basic 모델은 구조적으로 Thinker / Talker-LLM / Talker-Token2wav로 분리될 수 있습니다. Thinker는 텍스트 / 이미지 / 음성 입력을 종합적으로 이해하고 이에 대응되는 텍스트를 생성하는 모델입니다. 세부적으로 Thinker는 이미지 입력을 처리하는 시각 인코더 음성 입력을 처리하는 음성 인코더, 텍스트 입력을 처리하고 멀티모달 입력을 종합하여 이에 대응되는 텍스트를 생성하는 LLM 으로 구성됩니다. Talker는 Thinker에서 전달 받은 텍스트에 대응되는 음성 토큰을 생성하고, 이를 실제 음성으로 변환하는 모델입니다. Talker는 음성 토큰을 생성하는 LLM과 음성 토큰을 실제 사용자가 들을 수 있는 오디오 파형으로 변환하는 Token2wav로 구성됩니다.

이러한 구조적 관점에서의 특징 외에도 믿:음 K 2.0 Omni Basic 모델은 hybrid response mode와 interleaved generation 방식을 채택하고 있습니다. Hybrid response mode는 음성 출력을 지원하기 위한 dual response mode와 텍스트 출력만을 위한 single response mode를 하나의 모델에서 모두 지원하는 것을 의미합니다. Single response mode일 때 Thinker는 주어진 입력에 대응되는 사용자 텍스트만 생성하며, Talker는 활성화되지 않습니다. Dual response mode일 때, Thinker는 사용자 텍스트 외에도 Talker 모델의 입력으로 주어지는 Talker용 텍스트와 발화 스타일 정보를 생성합니다. Interleaved generation은 talker가 생성한 speech token과 Thinker로부터 전달받은 text 토큰을 교차로 배치하여 생성하는 형태를 의미합니다.

믿:음 K 2.0 Omni Basic 모델과 같은 Omni 모델을 효율적으로 서빙하기 위해 활용할 수 있는 프레임워크 중 하나로 vLLM-Omni가 있습니다. vLLM 기반의 이 프레임워크는 Omni 모델을 여러 스테이지(Stage)로 분할하여 각각을 최적화할 수 있는 장점이 있습니다. 특히 데이터를 청크(Chunk) 단위로 분할하고, 여러 스테이지를 파이프라인 형태로 구동하여 지연 시간(Latency)과 처리량(Throughput)을 개선하는 async_chunk와 같은 유용한 기능을 지원합니다.

프로젝트 초창기에 믿:음 K 2.0 Omni Basic 모델을 vLLM-Omni에 적용함으로써 프레임워크가 제공하는 다양한 기능을 활용하고자 했습니다. 하지만 단순히 vLLM-Omni 위에 모델을 구동하는 단순 적용만으로는 상용 서비스 수준에서 요구되는 엄격한 처리량과 지연 시간 목표를 만족하기 어려웠습니다. 이러한 이유로 vLLM-Omni 프레임워크의 도입을 넘어, 추가적인 추론 최적화 방안 검토를 모색하게 되었습니다.

추론 최적화를 본격적으로 진행하기에 앞서, 시스템의 효율성과 안정성을 정량적으로 관리하기 위한 기준 확립이 선행되어야 합니다. 서비스 운영 분야에서는 이를 위해 SLI와 SLO 개념을 활용합니다.

• SLI(Service Level Indicator, 서비스 수준 지표): 서비스 성능을 정량적으로 측정하기 위한 구체적인 지표(예: 지연 시간, 처리량 등)
• SLO(Service Level Objective, 서비스 수준 목표): SLI를 바탕으로 서비스가 달성하고자 하는 구체적인 성능 목표치(예: '요청의 95%는 특정 지연 시간 이내에 처리되어야 한다' 등)

안정적으로 Omni 모델 서빙 인프라를 운영하려면, 이러한 개념을 Omni 모델 서빙 도메인의 특성에 맞게 구체화해야 합니다. 기존 LLM 서빙 분야에서는 첫 글자가 출력되는 시점과 이후 글자들이 스트리밍되는 속도가 사용자 경험(UX)에 각기 다른 영향을 미친다는 점에 착안하여 TTFT, TPOT, TPS를 주요 SLI로 활용해 왔습니다. 여기에 더하여 믿:음 K 2.0 Omni Basic 모델은 dual response mode를 통해 텍스트 출력뿐만 아니라 음성 출력도 동시에 지원하므로 스트리밍 음성 출력에 특화된 SLI가 추가로 필요합니다. 이에 따라 믿:음 K 2.0 Omni Basic 모델의 서빙 성능(Serving Performance)을 측정하기 위해 다음과 같은 세부 지표를 정의했습니다.

                       그림 8. 텍스트 출력 Latency                                                     그림 9. 음성 출력 Latency

공통 지표

•  Latency(지연 시간): 특정 요청(Request)에 대해 응답이 완료될 때까지 소요된 총 시간

텍스트 출력

• TTFT (Time-To-First-Token): 첫 번째 텍스트 토큰이 생성될 때까지 소요되는 시간
• TPOT (Time-Per-Output-Token / a.k.a. Inter-Token-Latency): 출력 토큰당 소요 시간
• TPS (Token-Per-Second): 초당 생성되는 토큰 수

음성 출력

• TTFC (Time-To-First-(Speech)Chunk): 첫 번째 음성 청크가 생성될 때까지 소요되는 시간
• TPOC (Time-Per-Output-Chunk): 음성 출력 청크당 소요 시간
• CPS (Chunk-Per-Second): 초당 생성되는 음성 청크 수

SLI가 정의된 이후, 정의된 SLI를 바탕으로 실제 서비스 요구 사항에 맞춘 서비스 수준 목표(SLO, Service Level Objective)를 정의했습니다. 믿:음 K 2.0 Omni Basic 모델의 SLO 설정에서 가장 핵심적인 주안점은 “백분위수(Percentile) 측면에서 음성 출력(TPOC) 기준을 텍스트 출력(TPOT) 기준보다 훨씬 엄격하게 설정했다는 것”입니다.

Omni 모델 서빙에서 TPOT의 SLO를 TPOC보다 상대적으로 유연하게 설정하는 이유는 두 출력 매체의 노출되는 방식과 연속성 요구 수준이 서로 다르기 때문입니다. 텍스트 스트리밍의 경우, 출력이 순차적으로 화면에 표시되더라도 지연이나 속도 변동이 곧바로 출력 단절로 이어지지는 않습니다. 사용자는 생성 중인 텍스트를 읽으며 응답 진행 상황을 인지할 수 있으므로, 일정 범위 내의 TPOT 변동은 상대적으로 완화된 사용자 경험 저하로 체감될 수 있습니다. 반면 음성 스트리밍은 연속 재생이 핵심입니다. 버퍼 여유가 충분하지 않은 상태에서 TPOC가 해당 청크의 실제 재생 시간을 지속적으로 초과하면, 재생 버퍼가 고갈되어 음성이 끊기는 버퍼 언더런(Buffer Underrun) 현상이 발생할 수 있습니다. 이러한 청각적 연속성의 단절은 즉각적인 품질 저하와 대화 몰입도 하락으로 이어질 수 있으므로, TPOC는 백분위수 관점에서 TPOT보다 엄격하게 관리되어야 합니다.

믿:음 K 2.0 Omni Basic 모델의 추론 최적화에는 다음 세 가지 기술이 적용되었습니다.

• 가중치-활성화 양자화(Weight-Activation Quantization)를 이용한 모델 경량화
• Token2wav 단계에서의 TensorRT backend적용
• NVIDIA MPS (Multi-Process Service) 적용

최적화 기술을 적용했을 때 텍스트 출력에서는 vLLM-Omni 대비 약 1.37배 높은 처리량을 보였고, 음성 출력에서는 vLLM-Omni 대비 약 2.67배 높은 처리량을 보였습니다.

LLM 및 Omni 모델의 주요 경량화 기법 중 하나인 양자화(Quantization)는 모델의 정밀도(Precision)를 낮추는 경량화 방법입니다. 양자화는 적용 범위에 따라 크게 '가중치 양자화(Weight-only Quantization)'와 '가중치-활성화 양자화(Weight-Activation Quantization)'로 분류됩니다.

가중치 양자화는 모델의 가중치 정밀도만 낮추어 GPU 메모리 사용량(Memory Footprint)을 줄이는 기법입니다. 이는 메모리 용량이 부족하거나 메모리 대역폭에서 병목(Memory-bound)이 발생하는 상황에서 매우 효과적입니다. 하지만 실제 연산을 수행할 때는 가중치를 다시 원래의 정밀도로 되돌리는 역양자화(Dequantization) 과정이 필요합니다. 이로 인해 메모리가 아닌 '연산' 자체에서 병목이 발생하는 상황(Compute-bound)에서는 역양자화 오버헤드로 인해 실질적인 처리량(Throughput) 향상을 기대하기 어려울 수 있습니다.

반면 가중치-활성화 양자화는 모델의 가중치뿐만 아니라 내부 연산(Activation)의 정밀도까지 함께 낮추는 기법입니다. 이 방식을 사용하면 가중치 양자화의 메모리 절감 이점을 얻는 동시에 GPU의 저정밀도 연산을 직접 활용할 수 있습니다. 결과적으로 단위 시간당 더 높은 연산 처리량을 확보하여, 연산 과정에 병목이 있는 상황에서도 실질적인 성능 향상을 이끌어낼 수 있습니다.

서빙에서 활용하게 될 GPU의 사양, 모델의 크기 및 특성, 그리고 사용자 요청(Request) 패턴 등을 종합적으로 분석한 결과, 서빙 과정 전반에서 주로 연산 병목이 발생하고 있음을 확인했습니다. 이에 연산량 측면에서 이점을 가져갈 수 있는 가중치-활성화 양자화를 통해 모델을 경량화하였습니다.

위 표는 내부 서빙 환경에서 비양자화 모델(BF16), 가중치 양자화 모델, 그리고 가중치-활성화 양자화 모델의 처리량(Throughput)을 비교한 결과입니다.

실험 결과, 입력 형태에 관계없이 가중치 양자화 모델은 가중치-활성화 양자화 모델보다 낮은 처리량을 보였습니다. 특히 텍스트-이미지 형태의 입력(IT2T)을 제외하면, 가중치 양자화 모델이 오히려 양자화를 적용하지 않은 비양자화 모델(BF16)보다도 처리량이 떨어지는 현상이 관찰되었습니다. 이는 연산 병목(Compute-bound)이 발생하는 상황에서 가중치를 다시 원래의 정밀도로 복원하는 역양자화(Dequantization) 과정의 오버헤드가 실질적인 원인인 것으로 분석됩니다. 반면, 가중치-활성화 양자화 모델의 경우, 입력 데이터의 형태나 모달리티 구성에 관계없이 비양자화 모델보다 일관적이고 높은 처리량을 달성하는 것을 확인할 수 있습니다.

이처럼 처리량 극대화를 위해서는 가중치-활성화 양자화가 필수적이지만, 양자화는 정밀도를 낮추는 경량화 방법 중 하나이기 때문에 필연적으로 모델의 성능 열화(Degradation)가 동반됩니다. 특히 여러 모달리티를 동시에 처리하는 omni 모델의 경우, 모달리티 간 활성화 값의 분포와 이상치(Outlier) 패턴이 서로 달라 양자화에 매우 민감하게 반응하는 경향을 보입니다.

이러한 성능 열화를 최소화하기 위해 모델 구성 요소별 양자화 민감도(Sensitivity) 분석과 다양한 양자화 알고리즘의 복합 적용 및 맞춤형 보정 데이터셋(Calibration dataset) 구축 등 믿:음 K 2.0 Omni Basic 모델을 위한 양자화 연구를 진행하였고, 그 결과 원본 모델과 차이가 거의 없는 경량화 모델을 확보할 수 있었습니다.

아래 표는 입력 모달리티 조합별로 믿:음 K 2.0 Omni Basic 모델과 오픈소스 ‘Qwen2.5-Omni-7B' 모델의 양자화 후 상대 성능을 기재한 것입니다. 'Qwen2.5-Omni-7B’ 양자화 모델의 경우 특정 입력 모달리티 조합에서 원본 대비 20% 가까운 성능 하락이 발생했습니다. 반면 믿:음 K 2.0 모델은 입력 모달리티 구성에 관계없이 성능 열화가 2% 이내인 것을 확인할 수 있었습니다. 

Token2wav는 Talker-LLM에서 생성된 음성 토큰을 실제 사용자가 들을 수 있는 오디오 파형으로 변환하는 역할을 담당합니다. vLLM-Omni에 믿:음 K 2.0 Omni Basic 모델을 적용한 뒤 latency를 분석했을 때, 전체 latency에서 Token2wav가 과도하게 큰 비중을 차지하는 것을 확인했습니다. 원인을 파악하기 위해 vLLM-Omni 내부 구현을 분석하였고, Token2wav 부분이 PyTorch backend 형태로 동작하고 있는 것을 발견했습니다.

믿:음 K 2.0 Omni Basic 모델은 오디오 파형 생성 시 고품질 음성 생성을 위해 Flow Matching 기반의 생성 모델을 사용합니다. Flow Matching 기반 생성 방식은 음성 표현을 점진적으로 복원하는 과정에서 여러 단계의 반복 추론을 수행합니다. 이러한 반복 구조가 PyTorch backend와 맞물리는 경우, 빈번하게 발생하는 kernel launch와 메모리 I/O가 전체 latency에서 병목으로 작용하게 됩니다. 이에 layer fusion, static graph compile 적용 등을 통한 추론 속도 향상을 위해 Token2wav의 추론 엔진을 PyTorch backend에서 TensorRT backend로 교체하는 작업을 진행했습니다. 그 결과 TensorRT backend를 적용했을 때, 전체 latency에서 token2wav가 차지하는 비중이 67.26%에서 45.60%로 줄어드는 것을 확인했습니다.

vLLM-Omni 아키텍처에서는 모델의 각 스테이지(Stage)별로 할당할 GPU를 유연하게 결정할 수 있습니다. 일반적으로 각 스테이지는 프로세스 레벨(Process-level)에서 격리되어 구동되는데, 만약 여러 스테이지를 하나의 단일 GPU에 동시에 할당하면 GPU 스케줄러가 이를 시분할(Time-Slicing) 방식으로 처리하게 됩니다. 이 과정에서 프로세스 간 빈번한 CUDA 컨텍스트 스위칭(Context Switching) 오버헤드가 발생하여 전반적인 서빙 효율성이 저하되는 문제가 있습니다.

이러한 구조적 병목을 개선하기 위한 하드웨어 최적화 솔루션 중 하나로 NVIDIA MPS(Multi-Process Service)가 있습니다. MPS는 복수의 독립적인 프로세스가 단일 CUDA 컨텍스트를 공유하여 GPU 자원을 동시에 사용할 수 있도록 지원하는 클라이언트-서버 기반의 아키텍처입니다. vLLM-Omni 서빙 환경에 MPS를 적용하면, 하나의 GPU 내에서 서로 다른 프로세스로 분리된 스테이지들을 하드웨어 컨텍스트 스위칭 오버헤드 없이 효율적으로 동시 구동할 수 있습니다.

실제로 Talker-LLM과 Talker-token2wav를 하나의 GPU에서 서빙하는 시나리오와 Thinker와 Talker 모두를 하나의 GPU에서 서빙하는 시나리오에 대하여 MPS 적용 전/후의 처리량을 비교한 결과, MPS를 적용한 경우 그렇지 않은 경우 대비 각각 7%/11%의 CPS 향상이 있음을 확인했습니다.

믿:음 K 2.0 Omni Basic 모델은 언어, 시각, 음성을 하나의 모델로 융합한 KT의 첫 번째 Omni 모델로, 사람이 보고 듣고 말하며 소통하는 방식에 한 걸음 더 다가서는 것을 목표로 개발되었습니다. 완전히 새로운 모델을 처음부터 쌓아 올리는 대신, 한국어에 특화된 믿:음 언어모델과 KT의 시각 인코더, 음성 인코더/디코더의 검증된 자산을 기반으로 삼아 세 모달리티를 단일 모델 안에서 유기적으로 통합했습니다. 그 과정에서 마주한 데이터, 모달리티 통합, 안정성·신뢰성, 평가, 서빙이라는 다섯 가지 과제는 어느 한 팀의 역량만으로 해결할 수 없는 것 이었으며, 언어·시각·음성·경량화 및 서빙 최적화 팀이 공동의 목표 아래 협력해 풀어낸 결과가 이번 성과입니다.

데이터 측면에서는 텍스트, 음성, 이미지를 아우르는 다양한 입력 조합의 데이터를 "폭넓게 수집하되 단계마다 엄격하게 걸러낸다"는 일관된 원칙으로 표준화해 구축했습니다. 그 결과 단일 모달리티 입력은 물론, 여러 모달리티를 함께 교차 참조해야 하는 복합 모달리티 입력까지 균형 있게 학습할 수 있었으며, 특히 한국어와 한국적 맥락에 대한 깊은 이해를 확보하는 데 집중했습니다. 이러한 성과는 평가에서 분명하게 드러났습니다. 정량 평가에서는 시각-언어, 음성-언어, 시각-음성-언어 전 영역에서 특정 모달리티에 치우치지 않는 균형 잡힌 성능을 확인했으며, 정성 평가에서는 주요 오픈소스 멀티모달 모델과 비교해 한국 특화 이해와 음성 합성 품질에서 뚜렷한 우위를 입증했습니다. RAI 평가에서는 비교 모델을 상회하는 안전성을 확보하여 실제 서비스 투입을 위한 탄탄한 기반을 마련했습니다. 나아가 가중치-활성화 양자화, Token2wav의 TensorRT 적용, MPS 도입을 통해 vLLM-Omni 대비 텍스트 출력 약 1.37배, 음성 출력 약 2.67배의 처리량 향상을 달성하며, 복잡한 Omni 모델을 상용 서비스 수준에서 효율적으로 제공할 수 있는 길을 확보했습니다.

동시에 이번 개발을 통해 입증된 핵심 기술 역량을 KT의 주요 비즈니스에 적극 적용하여 실질적인 고객 가치를 창출하고자 합니다. 고도화된 음성 인식 능력, 다채로운 스타일을 자연스럽게 반영하는 음성 합성 능력, 그리고 음성과 언어 맥락을 동시에 분석하고 이해하는 Omni 모델의 강점을 바탕으로 AICC, 보이스피싱 탐지, 미디어 등 KT의 핵심 서비스들을 한 단계 더 고도화할 계획입니다. 앞으로도 다양한 실사용 시나리오와 환경을 아우르며, 사용자가 어떤 형태로 소통하더라도 일관되고 자연스러운 혁신 경험을 제공하는 방향으로 믿:음 K 2.0 Omni Basic을 계속 발전시켜 나가고자 합니다.