KT Full Duplex S2S 모델 개발기

안녕하세요. KT Frontier AI Lab 성우경입니다.

요즘 AI와 대화할 경우가 많아 지고 있습니다. 특히 전화 상담의 경우는 많은 경우가 AI가 먼저 전화를 받습니다. AI와 이야기하다 보면 “말귀를 못 알아듣네”라는 답답함이 들 때가 있습니다. 단어를 잘못 들어서가 아닙니다. 대화가 한 번에 한 방향으로만 흐르기 때문입니다. AI가 말하는 동안에는 고객의 말을 듣지 못하고, 고객이 말을 마친 뒤에야 처리를 시작합니다. 그래서 답은 늦게 나오고, “네, 네”라는 맞장구에 안내가 끊기고, “잠깐만요”라는 요청은 지나쳐 버립니다.

저희가 개발한 KT Full Duplex S2S 모델은 말하는 중에도 듣습니다. S2S는 음성을 입력받아 음성으로 응답하는 Speech-to-Speech 모델을, Full Duplex는 말하는 동안에도 상대의 말을 듣는 전이중 대화 방식을 뜻합니다. 이 차이에서 네 가지가 달라집니다.

• 빠른 응답. 음성을 듣고 바로 음성으로 답합니다. 기본 문답에서 첫 응답까지의 지연은 평균 300ms이내입니다.

• 의미 기반 턴테이킹. 소리가 났는지보다 그 말의 역할을 봅니다. 듣고 있다는 맞장구에는 안내를 이어가고, 새 요청에는 차례를 넘깁니다.

• 끼어들기에 대한 자연스러운 응답. 멈추는 데서 끝나지 않고, 고객이 바꾼 내용을 받아 대화를 이어갑니다.

• 업무 수행. 도구 호출(Tool call)로 연결해 조회 같은 실제 업무를 처리하고 결과를 안내합니다. 

  
  

각각은 따로 있을 때보다 이어질 때 의미가 커집니다. 빠르게 답하고, 제때 멈추고, 바뀐 요청을 알아듣고, 일까지 끝내는 과정이 한 통화 안에서 연결될 때 고객은 기존 AI와 다른 대화를 경험하게 됩니다. KT Full Duplex S2S 모델은 한국어 지원과 도구 호출을 함께 갖춘 최초의 Full Duplex 모델입니다.

이 글에서는 네 가지가 한 상담 안에서 어떻게 이어지는지 먼저 보여드리고, 평가 결과와 개발 과정, 기반이 되는 Full Duplex S2S모델 역량을 차례로 소개합니다.

1 한 상담 장면으로 보는 네 가지

네 가지는 한 통화 안에서 차례로 이어집니다. 방문 점검 일정을 잡는 상담을 예로 들어 보겠습니다.

• 빠른 응답. 고객이 방문 점검을 문의하면 AI는 기다림 없이 안내를 시작합니다.
  
• 맞장구에는 안내 유지. AI가 방문 절차를 설명하는 중에 고객이 “네, 네”라고 호응합니다. AI는 이를 듣고 있다는 신호로 받아들이고 설명을 이어갑니다.
  
• 끼어들기에는 차례 양보. 고객이 “잠깐만요, 토요일로 바꿔 주세요”라고 말합니다. AI는 설명을 멈추고 바뀐 조건을 받아들입니다.
  
• 업무 수행. AI는 토요일에 방문 가능한 시간이 있는지 조회하고, 확인된 결과를 고객에게 안내합니다.

그림 1. 맞장구·끼어들기·업무 연결의 세 장면과 KT 모델·백엔드의 역할.

대화와 업무 시스템을 잇는 역할 분담

고객이 토요일 방문을 요청하면 AI는 방문 절차를 설명하는 데서 그치지 않고, 실제로 가능한 시간이 있는지 확인해야 합니다. 이처럼 대화 밖의 정보나 업무 기능이 필요할 때 도움을 요청하는 것이 도구 호출입니다.

KT Full Duplex S2S 모델은 고객의 말을 듣고 호출이 필요한지 판단한 뒤, 날짜와 같은 처리 조건을 백엔드에 전달합니다. 백엔드의 언어 모델(LLM)은 연결된 업무 기능을 활용해 요청을 처리하고 결과를 돌려줍니다. 음성 모델은 이 결과를 고객에게 안내합니다.

조회가 완료됐다는 사실과 예약이 확정됐다는 사실은 다릅니다. 음성 모델은 가능 시간만 확인한 결과를 “예약이 완료됐습니다”라고 안내해서는 안 됩니다.

그림 2. 고객·KT 모델·백엔드·업무 시스템이 상호작용하는 상담 시간축. 설명용 가상 예시입니다.

기술 기능이 고객센터 경험으로 이어지려면

맞장구 때문에 안내가 끊기는 일과, 바뀐 요청을 다시 설명해야 하는 부담을 줄이는 것이 목표입니다. 자연스럽게 대화하는 능력과 정확하게 일을 처리하는 능력이 한 상담 안에서 연결되어야 합니다.

이것이 기업 고객센터를 위한 업무 수행형 음성 AI인 B2B Agentic AICC의 방향입니다. 현장에서는 반복 질문의 빈도, 업무 완료율, 상담원 연결 비율, 결과 안내까지의 시간을 함께 확인해야 합니다.

2 얼마나 빠르고 자연스러운가

Full Duplex 모델은 기본 문답에서 평균 300ms 이내에 응답을 시작합니다. 사람이 대화에서 말을 주고받는 속도에 가까운 수준입니다. 끼어들기와 맞장구 상황에서도 의도한 대로 안정적으로 반응했습니다. 아래는 KT 자체 호스팅 환경에서 확인한 평가 지표입니다.

표 1. Full Duplex 모델의 대화 상호작용 평가 지표.

반응 시점을 상황별로 나누어 봅니다

사용자의 말과 겹친 시간이 짧다고 항상 좋은 대화는 아닙니다. AI가 처음부터 응답하지 않았다면 겹침은 없지만 대화도 진행되지 않았을 것입니다. 그래서 끼어들기에는 차례를 넘겼는지, 맞장구에는 안내를 유지하거나 이어갔는지, 기본 문답에서는 응답했는지와 얼마나 기다리게 했는지를 따로 확인합니다. 무응답이나 측정 누락이 좋은 결과에 섞이지 않도록 구분합니다.

그림 3. 발화 중단 구간, 전달 조건, 결과 안내를 나누어 살피는 평가 장면. 파형은 설명용입니다.

사람의 응답 속도에 가까운 지연

평균 300ms 이내라는 결과는 기본 문답의 실제 음성 검증 세트에서 측정한 첫 응답까지의 지연입니다. 대표적인 응답뿐 아니라 상대적으로 느린 응답에서도 지연이 짧게 유지됐습니다. 업무 시스템을 조회하고 최종 결과를 안내하기까지 걸리는 전체 시간과는 구분합니다.

빠른 반응과 함께 대화의 안정성도 확인합니다

끼어들기에는 차례를 넘기고 맞장구 뒤에는 발화를 이어가는 동작을 평가 세트에서 안정적으로 확인했습니다. 다만 맞장구 뒤에 발화를 이어갔다는 것만으로 무중단 안내를 뜻하지는 않습니다. 설명을 유지한 경우와 멈췄다가 재개한 경우를 구분해야 합니다. 끼어들기 결과도 합성 평가 세트에서 관측한 것입니다. 빠른 응답과 함께, 응답하지 못한 상황이나 발화를 원활히 이어가지 못한 장면을 줄이는 일도 중요합니다.

업무 연결은 판단부터 최종 안내까지 봅니다

업무 연결은 세 가지를 각각 살핍니다. 호출이 필요한 상황과 필요 없는 상황을 구분했는지, 요청한 업무와 처리 조건이 제대로 전달됐는지, 최종 안내가 확인된 결과에 근거하는지입니다. 도구를 호출했다는 사실만으로 업무가 정확하게 완료됐다고 판단하지 않습니다.

위 지표는 대화 상호작용을 다룹니다. 이 결과만으로 동시 대화 중 도구 호출의 정확성이나 상담 전체의 업무 완료 성능까지 판단할 수는 없습니다.

3 어떻게 만들었나

KT Full Duplex S2S 모델은 두 단계로 학습합니다. 먼저 상대의 말을 들은 뒤 차례를 받아 응답하는 Half-duplex S2S 모델을 학습하고, 이 모델을 기반으로 Full Duplex S2S 모델을 추가 학습합니다. 서로 다른 제품을 따로 만드는 과정이 아니라, 먼저 쌓은 음성 이해와 응답 능력을 동시 대화로 확장하는 과정입니다.

표 2. KT Full Duplex S2S 모델의 학습 흐름과 단계별 평가 목적.

1단계에서는 음성을 인식하고, 내용을 이해하며, 요청에 맞게 응답하는 기본 역량을 학습합니다. 말하는 중에 들어오는 음성을 다루려면 우선 고객이 무엇을 말했는지 이해할 수 있어야 하기 때문입니다. 2단계에서는 AI가 말하는 중에도 사용자의 음성을 받아들이고, 설명을 유지할지 차례를 넘길지 판단하도록 추가 학습합니다.

두 단계의 평가 과제는 서로 다릅니다. 따라서 두 결과를 하나의 종합 점수로 합치거나, 같은 지표의 학습 전후 개선 폭으로 해석하지 않습니다. 1단계의 음성 이해 점수가 Full Duplex 모델에서도 그대로 유지된다고 단정할 수도 없습니다.

자연스러운 대화를 만드는 과정에서 네 가지 문제를 함께 풀어야 했습니다.

짧은 말도 대화 장면과 함께 학습해야 했습니다

완성된 질문과 답변만으로는 설명 도중의 “네”나 갑작스러운 요청 변경을 충분히 다루기 어렵습니다. 같은 말이라도 언제, 어떤 맥락에서 들어왔는지에 따라 역할이 달라지기 때문입니다. 저희는 기본 문답과 여러 차례 대화, 끼어들기·맞장구·도구 호출을 장면별로 구성하고, 음성과 대화 내용의 품질 및 변경 이력을 함께 관리했습니다.

여기에 의미 기반 발화 판단 로직을 적용했습니다. 사용자의 음성이 들어왔다는 사실에 더해 그 말의 역할을 살피는 접근입니다. 설명을 듣고 있다는 호응인지, 차례를 가져와 새 요청을 말하려는 것인지 구분해 발화를 유지하거나 멈춥니다.

잘 기다리는 모델이 항상 빠르게 답하는 것은 아니었습니다

사용자의 말을 충분히 듣도록 조정하면 기본 문답의 응답 시점에도 영향을 줄 수 있었습니다. 끼어들기 대응을 추가했다고 다른 대화 행동까지 같은 방향으로 좋아지는 것은 아니었습니다. 그래서 데이터와 모델을 조정할 때 기본 문답의 응답 여부와 지연, 기존 상호작용의 유지 여부를 함께 확인했습니다.

목표는 무조건 빨리 말하는 것이 아닙니다. 처리 때문에 생기는 불필요한 지연은 줄이되, 고객이 말을 마칠 여유는 남겨야 합니다. 발화 종료를 너무 빨리 판단하면 사용자의 설명을 잘라낼 수 있습니다.

모델의 판단과 고객이 듣는 순간 사이에도 차이가 있었습니다

모델이 멈추기로 판단한 시점과 고객에게 음성이 실제로 멈춰 들리는 시점은 다를 수 있습니다. 음성을 받아 모델에 전달하고 생성된 응답을 재생하는 전달 과정, 즉 서빙도 대화 경험에 영향을 줍니다.

그래서 질문 뒤 첫 반응까지의 시간, 끼어들었을 때 발화를 멈추기까지의 시간, 업무 결과를 안내하기까지의 시간을 구분해 봅니다. 모델의 판단과 음성 전달 과정의 지연을 함께 살펴야 고객이 체감하는 기다림을 설명할 수 있습니다.

여러 기능이 이어지는 상담을 기준으로 확인했습니다

토요일로 바꿔 달라는 말을 듣고 멈추더라도, 이전의 평일 조건을 조회에 전달하면 상담은 실패합니다. 가능 시간을 정확히 조회했더라도 예약 완료로 잘못 안내하면 역시 문제가 남습니다. 개발의 기준은 개별 행동의 성공뿐 아니라, 바뀐 조건이 최종 안내까지 유지되는지에 있습니다.

4 기반이 되는 음성 역량

Full Duplex 학습의 출발점인 Half-duplex 기반 모델은 한국어 음성인식과 요청 이해에서 강점을 보였습니다. 이 모델의 음성 역량을 국내에 공개된 음성 모델 두 종(공개 모델 A, 공개 모델 B)과 비교했습니다. KT 모델과 공개 모델 A는 내부 실행 결과이며, 공개 모델 B는 해당 모델의 공개 보고값입니다.

비교 모델

두 모델은 개발 주체와 음성 처리 구조가 서로 다릅니다.

• 공개 모델 A는 Half-duplex 방식의 한국어·영어 음성 모델입니다. 자체 학습한 음성 인코더와 코덱을 언어 모델에 결합했으며, 음성인식·합성·질의응답을 하나의 모델에서 처리합니다.

• 공개 모델 B는 Half-duplex 방식의 한국어 음성 대화 모델입니다. 언어 모델의 가중치를 고정한 채 음성 이해·생성 모듈과 문맥 기반 발화 판단 기능을 결합했습니다.

성능 비교 1. Half-duplex 기반 모델의 항목별 성능.

성능 비교 2. 한국어 음성인식 성능. KsponSpeech clean·other의 문자 오류율(CER, %)이며, 낮을수록 우수합니다.

성능 비교 1에서 KT Half-duplex 모델은 한국어 음성인식과 한·영 양방향 번역, 자체 지시 이행 평가에서 강점을 보였습니다. 한국어 KsponSpeech clean·other에서는 비교한 두 모델보다 낮은 문자 오류율을 기록했습니다. 특히 clean의 오류율은 KT 7.02%, 공개모델 A: 9.62%, 공개모델 B: 9.00%였습니다. 고객의 요청을 정확히 듣는 것이 상담의 출발점이라는 점에서, 한국어 음성인식 성능은 업무 수행형 음성 AI를 위한 중요한 기반입니다.

이 강점은 음성인식에만 머물지 않았습니다. 한·영 양방향 번역과 한국어·영어 지시 이행 평가에서는 공개모델 A보다 높은 점수를 기록했고, 영어 질의응답 추론을 평가하는 BBH에서도 KT가 56.10%로 공개모델 A 51.50%, 공개모델 B 44.18%를 앞섰습니다. 이는 음성을 듣고 내용을 이해하는 능력뿐 아니라, 주어진 요청에 맞춰 응답하고 추론하는 기본 역량도 확보했음을 보여줍니다.

반면, 영어 LibriSpeech 음성인식과 BigAudioBench·MMSU·IFEval, AlpacaEval·CommonEval에서는 개선할 여지가 확인됐습니다. 특히 AlpacaEval과 CommonEval의 결과는 다양한 개방형 질문에 대한 답변 품질을 더 높여야 한다는 점을 보여줍니다. 자체 지시 이행 평가에서의 강점이 IFEval에서도 동일하게 나타나지는 않았으므로, 익숙한 요청 형식에서 확보한 성능을 더 다양한 지시와 평가 조건으로 넓히는 것이 후속 과제입니다.

이 결과는 저희 모델이 모든 범용 음성 과제에서 우세하다는 의미보다는, 한국어 상담의 출발점이 되는 인식 능력과 요청 이해에 강점을 갖추고, 범용 응답 품질을 보완해 나가는 단계로 해석할 수 있습니다. 또한 여기서 평가한 대상은 Full Duplex 추가 학습 전의 기반 모델입니다. 실제 상담에서 중요한 끼어들기·맞장구 처리, 응답 지연, 업무 시스템 연결 능력까지 이 그림 하나로 판단할 수는 없습니다. 저희는 이러한 기본 음성 역량을 바탕으로 동시 대화와 업무 수행 능력을 확장하고, 상대적으로 부족했던 평가 항목도 함께 개선하는 방향으로 모델을 발전시키고 있습니다.

5 다음 단계

다음 단계는 고객이 자기 말을 정리하는 과정을 더 세밀하게 듣고, AI도 필요한 순간에 대화에 참여하도록 확장하는 것입니다. 현재 기능의 중심에는 기본 문답과 여러 차례 대화, 사용자 끼어들기·맞장구 처리, 도구 호출이 있습니다.

“다음 주… 음… 토요일이요”처럼 망설이는 말이나 “금요일, 아니 토요일로요”처럼 같은 발화 안에서 내용을 고치는 상황을 더 정교하게 다루려 합니다. AI의 설명을 중단시키는 끼어들기 대응에서 나아가, 사용자의 말이 완성되는 과정까지 고려하는 방향입니다.

사용자가 말하는 동안 AI가 짧게 호응하는 기능과, 대화·업무 상황에 따라 필요한 질문이나 안내를 먼저 건네는 능동적 발화도 다음 단계입니다. 현재 지원하는 사용자 맞장구 처리는 고객의 호응을 받아들이는 기능이며, AI가 스스로 맞장구를 생성하는 기능과는 구분됩니다.

현장 적용에서는 업무의 끝까지 확인하겠습니다

향후 Full Duplex S2S모델은 Agentic AICC 현장에 적용할 예정입니다. 실제 업무에 적용하려면 업무 시스템 연동뿐 아니라, 본인 확인이 필요한 요청의 처리, 조회 실패 시 안내, 상담원 연결 절차도 함께 갖춰야 합니다.

KT Full Duplex S2S 모델은 기본 음성 역량을 먼저 학습하고 이를 동시 대화로 확장해, 고객의 반응을 듣고 바뀐 요청을 업무로 이어가도록 개발했습니다. 앞으로는 고객이 편하게 말할 수 있는지와 필요한 일을 정확하게 끝낼 수 있는지를 함께 확인하며 발전시키겠습니다.

Contributor (모든 저자는 성을 기준으로 가나다순으로 나열됩니다.)
박재한(PM), 강민희, 강현정, 고우석, 권순구, 김근호, 김도희, 김연주, 김지환, 김태수, 서지영, 성우경, 안상영, 이유나, 이호영, 임솔이, 최우혁, 최하영