“고객님, 기다려 주셔서 감사합니다.”
같은 문장도 어떻게 말하느냐에 따라 전혀 다르게 들립니다. 밝고 친근하게 말할 수도 있고, 안도감과 감사가 느껴지도록 표현할 수도 있죠. 그렇다면 AI에게 말투와 감정, 분위기까지 자연어로 주문할 수 있다면 어떨까요?
Frontier AI Lab 최하영님은 프롬프트로 음성의 표현을 제어하는 Prompt TTS와 실시간 음성 대화 기술을 연구하고 있습니다. 정확히 읽는 AI를 넘어, 상황과 의도를 이해하고 ‘어떻게 말할지’까지 고민하는 AI입니다. AI의 목소리에 연출을 더하는 Prompt TTS는 무엇인지, 같은 문장이 프롬프트 하나로 얼마나 달라질 수 있는지 최하영님에게 들어봤습니다
KT ㅣ AICT기술연구개발 ㅣ 최하영
먼저 Lab과 현재 맡고 계신 역할을 소개해 주세요.
Frontier AI Lab은 생성형 AI의 기반 기술을 연구하고, 실제 서비스에서 활용할 수 있는 형태로 발전시키는 조직입니다. 특히 저희팀에서는 TTS와 STT, Speech LLM, 실시간 음성 대화 기술까지 사람과 AI가 자연스럽게 음성으로 상호작용하기 위한 Speech AI 기술 전반을 연구하고 있습니다.
저는 Speech LLM의 음성 생성과 실시간 대화 기술을 중심으로 연구하고 있습니다. 언어 모델이 이해한 문맥과 발화 의도를 자연스러운 음성으로 표현할 수 있도록 모델의 구조와 학습 방법을 개발하고, 사용자의 반응을 실시간으로 이해하며 대화를 이어가는 스트리밍 기술도 함께 연구하고 있습니다.
Prompt TTS, 쉽게 말하면 어떤 기술인가요?
Prompt TTS는 합성할 문장뿐 아니라, 그 문장을 ‘어떻게 말할지’까지 자연어로 지시할 수 있는 음성합성 기술입니다.
예를 들어 “고객님, 오래 기다리게 해드려 죄송합니다”라는 문장에 다음과 같은 프롬프트를 함께 입력할 수 있습니다.
“불편을 겪은 고객에게 진심으로 사과하듯, 차분하고 조심스럽게 말해 주세요.”
“친한 친구에게 비밀을 알려주듯 낮은 목소리로 말해 주세요.”
기존에는 ‘기쁨’, ‘슬픔’처럼 정해진 감정을 선택하거나 속도와 음높이를 직접 조절했다면, Prompt TTS는 상황과 의도, 원하는 분위기를 일상적인 언어로 설명하면 이를 하나의 음성 표현으로 구현합니다. 음성의 설정 메뉴가 자연어로 바뀐 셈입니다.
정확히 읽는 TTS를 넘어, ‘잘 표현하는 TTS’가 필요했던 이유는 무엇인가요?
음성 AI가 다양한 서비스에 활용되면서 문장을 자연스럽게 읽는 것만큼이나, 현재 상황에 맞게 말하는 능력이 중요해졌습니다. 상담 상황을 예로 들면 일반적인 안내에는 밝고 명료한 목소리가 잘 어울립니다. 하지만 고객이 장애나 결제 오류로 불편을 겪고 있다면 차분하고 신중한 태도가 필요합니다. “많이 불편하셨겠습니다”라는 문장도 음성의 분위기가 맞지 않으면 오히려 기계적으로 느껴질 수 있습니다.
콘텐츠에서도 마찬가지입니다. 광고와 영상 내레이션, 오디오북, 게임에서는 발음의 정확성뿐 아니라 장면의 분위기와 캐릭터의 성격, 제작자의 연출 의도까지 표현해야 합니다. 복잡한 음성 파라미터를 다루지 않고도 원하는 말투와 의도를 자연어로 설명해 음성으로 구현하자. 이것이 Prompt TTS 개발의 출발점이었습니다.
“따뜻하게 말해 주세요”를 실제 음성으로 만드는 일, 생각보다 어려울 것 같습니다.
맞습니다. 가장 어려운 점은 프롬프트의 표현을 충분히 살리면서도 발음 정확도, 음질, 화자의 고유한 음색, 서비스에 필요한 응답 속도를 동시에 유지하는 것입니다.
“따뜻하게 말해 주세요”라는 짧은 지시도 실제 음성에서는 억양과 속도, 강세, 호흡, 말 사이의 쉼이 함께 달라져야 자연스럽게 들립니다. 표현을 지나치게 강조하면 발음이나 음색이 불안정해지거나, 예상보다 과장된 연기처럼 들릴 수도 있습니다.
이를 해결하기 위해 학습 데이터와 모델 구조, 음성 생성 방식을 함께 살펴봤습니다. 같은 문장에 지시만 바꿨을 때 표현이 실제로 달라지는지, 여러 문장에서도 같은 분위기가 유지되는지 비교했습니다. 발음과 음질은 물론 첫 음성이 나오는 시간과 스트리밍 중 끊김 여부도 함께 확인했습니다. 대본은 정확히 읽으면서 연출 방향도 놓치지 않게 하는 것, 그 균형을 찾는 과정이라고 할 수 있습니다.
테스트하면서 기억에 남은 재미있는 순간도 있었나요?
같은 문장도 프롬프트의 작은 차이에 따라 예상보다 훨씬 다른 분위기로 바뀌는 순간들이 재미있었습니다.
이런 프롬프트를 적용했을 때 단순히 목소리만 밝아지는 것이 아니라, 속삭임과 웃음 같은 요소가 함께 나타나며 실제 대화에 가까운 느낌이 만들어지기도 했습니다.
반대로 표현을 너무 강하게 지시하면 기대보다 과장된 연기처럼 들리는 경우도 있었습니다. 프롬프트의 단어 하나가 음성의 분위기를 크게 바꿀 수 있다는 점이 흥미로웠고, 동시에 사람에게 자연스럽게 들리는 표현이 무엇인지 세밀하게 조정하는 과정이 중요하다는 것도 확인할 수 있었습니다.
Prompt TTS가 실제 서비스와 콘텐츠 제작을 어떻게 바꿀 수 있을까요?
대표적인 분야는 AICC입니다. 고객의 상황과 대화 흐름에 맞춰 사과, 안내, 감사 등의 표현을 더 자연스럽게 전달할 수 있습니다. 앞으로는 사람이 문장마다 말투를 지정하는 것을 넘어, AI가 대화의 맥락을 이해하고 적절한 표현을 스스로 선택하는 방향으로 발전할 수 있습니다. 대화 모델이 ‘무엇을 말할지’ 결정한다면 Prompt TTS는 ‘어떻게 말할지’ 담당하는 것입니다.콘텐츠 제작에서도 활용 가능성이 큽니다. 전문적인 음성 편집 기술을 몰라도 다음과 같이 연출 방향을 직접 설명할 수 있습니다.
“첫 문장은 담담하게 시작하고, 마지막에는 기대감이 느껴지게 말해 주세요.”
광고와 영상 내레이션, 오디오북, 게임·캐릭터 음성, 교육 콘텐츠에서 여러 표현을 빠르게 생성하고 비교할 수 있고, 원하는 결과가 나올 때까지 프롬프트를 수정하며 음성을 탐색할 수도 있습니다. Prompt TTS가 음성을 제어하는 자연어 인터페이스가 되는 것입니다.
앞으로 만들고 싶은 음성 AI의 모습은 무엇인가요?
발음의 정확성과 표현 제어 능력을 높이는 동시에, 이를 실시간 양방향 대화로 확장하고 싶습니다. 실제 대화에서는 AI가 말하는 중에도 상대방이 질문하거나 맞장구를 보낼 수 있습니다. AI가 상황에 따라 말을 이어갈지 잠시 멈출지 판단하고, 새롭게 들어온 내용을 이후 대화에 자연스럽게 반영해야 합니다.
궁극적으로는 단순히 음성을 생성하는 것을 넘어 무엇을 말할지, 언제 말할지, 어떤 태도로 말할지까지 대화 흐름에 맞춰 조절하는 음성 AI로 발전시키는 것이 목표입니다. 저희가 개선한 음성을 들은 분들이 “확실히 더 자연스러워졌다”, “의도한 느낌이 잘 전달된다”고 이야기해 주실 때 가장 뿌듯합니다. 모델의 작은 기술적 개선이 실제 사람이 느끼는 경험의 차이로 이어진다는 것을 확인할 수 있기 때문입니다.
음성 AI는 이미 많이 발전했지만, 사람과 자연스럽게 상호작용하는 AI라는 관점에서는 여전히 풀어야 할 문제가 많습니다. 새로운 모델과 성능 지표뿐 아니라 어떤 기술이 사람에게 필요하고, 어떤 경험이 더 자연스럽게 느껴지는지 함께 고민하는 연구원과 개발자가 많아지면 좋겠습니다.
