1. 알파테스트 이후 발견된 문제
“가끔 텍스트가 통으로 출력되는 경우가 있는데, 그럴때는 잘 읽히지 않았어요.”
“역사적 사건에 대해 시간순으로 정리해 달라는 요청에 날짜 형식이 들쭉날쭉한 경우가 있었어요”
2. 진단: 출력 형태에서 패턴 찾기
문제 상황에 대한 정확한 진단을 위해, 알파테스트를 통해 수집된 데이터를 다시 들여다보며 모델의 응답을 구조적으로 분석했습니다.
단순히 답변이 맞는지 틀린지를 보는 대신, 사용자 경험에 영향을 줄 수 있는 응답의 시각적인 형태에 집중했습니다.
그 결과, 몇 가지 패턴이 보였습니다.
- 어떤 답변은 제목과 소제목을 제시하고, 또 어떤 답변은 바로 본문을 시작하고,
- 불릿 포인트를 쓰는 경우도 있고, 같은 유형의 질문임에도 문단만 길게 이어지는 경우도 있었고,
- 숫자·연도 표기나 들여쓰기 방식처럼 비교적 기초적인 포맷도 매번 달랐습니다.
이 문제는 결국 모델이 언어를 쓰는 규칙이 없어서 생긴 현상이었습니다.
“AI 모델이 정보를 표현하는 방식에 조건과 규칙을 부여하여 표준화해야 한다”는 목표를 두고 스타일 가이드 제작을 시작하게 되었습니다.
3. 스타일 가이드 정립 과정
스타일 가이드는 AI 모델이 텍스트를 시각적으로 표현할 때 지켜야 할 원칙을 정의하는 문서입니다.
단순한 글쓰기 규칙이 아니라, 모델의 출력이 항상 일정한 품질의 시각적 구조를 가지도록 통제하는 기준을 정리하는 것에 목적을 두었습니다.
스타일 가이드에 포함될 요소는 아래 두 가지 방식을 거쳐 탐색하고 수립했습니다.
3.1 여러 모델의 출력에서 ‘현실적으로 가능한 포맷’ 추출하기
우선 알파테스트에서 수집된 프롬프트들을 통해 프론티어 모델들의 출력을 받아 비교하면서, 모델의 답변을 구성하는 시각적인 요소들을 수집했습니다.
그리고, 탐색한 요소들 중에서 실제로 LLM 환경에서 안정적으로 구현되는 마크다운 요소를 추렸습니다.
이 과정을 통해 볼드, 들여쓰기, 불릿 포인트, 헤딩, 표, 코드블럭, 인용, 줄바꿈 등의 세부 요소가 선별되었습니다.
3.2 모델이 취약했던 요소 발굴하기
모델 개발 부서와 스타일 가이드 제작 회의를 거치면서, 믿:음 K 2.0 모델의 응답 중 가장 빈번하게 문제로 지적된 항목은 숫자·연도 표기 규칙의 불안정성이었습니다.
연도 표기(YYYY vs YY), 날짜 표기 방식(2022/05/11 vs 2022년 5월 11일), 숫자 단위 공백 등이 일관되지 않게 표기되는 문제가 많았기 때문입니다.
3.2.1 연도 표기 예시
아래 예시는 믿:음 K 2.0 의 연도 표기 출력 사례입니다.
1990년 ~ 1999년, 1990~1999, 90~99년 등 표기가 혼용되었고, 범위를 나타내는 (~) 기호 사이에도 공백 규칙 적용이 일관되지 않는 문제가 발생하고 있었습니다.
| 1990~1999 1990년 대한민국 인구는 4,419만 명(통계청 기준)이었고, 1999년에는 4,584만 명으로 증가했습니다. 증가율: 약 3.9% (10년간) 이 시기는 출산율이 비교적 높고, 경제 성장과 함께 인구가 꾸준히 늘던 시기입니다. 수도권 집중, 대도시 인구 증가가 두드러졌습니다. |
|---|
이렇게 하여 스타일 가이드 내에 포함될 요소들이 선별되었습니다.
사람이 읽기 쉬운 출력을 만들어 내기 위한 스타일 가이드 안에는 이 요소들을 포함하기로 정하고, 요소별 정의, 사용될 때의 규칙과 조건을 하나하나 지정했습니다.
3.3 스타일 가이드 요소
모든 요소는 정의와 규칙을 지정하여, 모델이 어떤 Task를 수행하더라도 일관된 출력을 낼 수 있도록 설계 했습니다.
아래는 스타일 가이드의 핵심 요소별 정의와 규칙을 정리한 문서의 일부입니다.
(1) 숫자/연도 표기
| 구분 |
설명 |
|---|---|
| 정의 |
숫자, 연도, 날짜, 단위 표기를 일관되게 규격화 하는 방식 |
| 규칙 |
|
(2) 불릿 포인트
| 구분 |
설명 |
|---|---|
| 정의 |
항목 나열을 위한 구조화 장치 |
| 규칙 |
|
(3) 번호 목록
| 구분 |
설명 |
|---|---|
| 정의 |
문서 내에서 순서, 단계, 우선순위, 논리적 진행이 있는 정보를 체계적으로 나열하기 위한 서식 요소 |
| 규칙 |
|
스타일 가이드 요소 선정, 요소별 쓰임새 정의를 마친 후에 든 고민은 "어떻게 해야 이 가이드가 모델에게 도움이 되는지를 판단할까"였습니다.
가이드의 효용성을 빠르게 체크해보기 위해 Hugging Face에 공개된 믿:음 K 2.0 Base 모델의 시스템 프롬프트 내에 스타일 가이드 내용을 추가하여 답변을 출력해보는 실험을 시작했습니다.
그 결과, 시각적 구조화는 개선되었지만 스타일 가이드에 정의하지 않은 요소까지도 반영이 되고, 과도하게 포맷팅이 되는 등의 부작용이 보였습니다. 모델이 가지고 있는 근본적인 학습 데이터를 바꾸지 않고 시스템 프롬프트 만으로 출력 포맷을 제어하려고 하여 생긴 문제였습니다.
앞선 실험을 통해 방향을 조금 틀어, 발견된 요소를 전부 믿:음 K 2.0 에 반영하는 대신,
(1) 믿:음 K 2.0 이 가장 시각적으로 일관성을 지키지 못하고 있다고 판단한 숫자/연도 표기 요소와
4. 가이드 적용 결과 확인하기
핵심 요소만 반영된 스타일 가이드도 동일한 환경에서 출력을 보는 형식으로 진행했고, 이 출력 답변은 믿:음 K 2.0 의 답변과, 타사 모델의 답변을 비교하는 블라인드 비교 평가를 통해 실제 사용자에게도 가이드를 통한 출력 포맷이 좋은 경험을 주는지 정성적으로 검증 했습니다.
4.1 구조적 개선 확인 실험
(1) 믿:음 K 2.0 (Original)
| 한국의 ‘정(情)’은 매우 독특하고 복합적인 개념으로, 사람들 간의 깊은 정서적 유대감과 애정을 나타냅니다. ‘정’은 단순한 감정 이상의 것으로, 오랜 시간에 걸쳐 형성된 관계 속에서 자연스럽게 우러나오는 감정입니다. 이는 가족, 친구, 이웃 등 가까운 사람들 사이에서 주로 나타나며, 서로에 대한 배려와 이해, 그리고 때로는 희생을 포함합니다. ‘정’은 말로 표현하기 어려운 미묘한 감정으로, 사람들 사이의 관계를 더욱 깊고 특별하게 만들어 줍니다. 다른 문화권에서도 ‘정’과 유사한 개념이 존재하지만, 그 표현 방식과 맥락은 다를 수 있습니다. 예를 들어, 일본의 ‘온기(温き)’는 사람들 간의 따뜻함과 배려를 강조하는 개념으로, ‘정’과 비슷한 면이 있습니다. 그러나 ‘온기’는 주로 개인의 내면에서 우러나오는 따뜻함에 초점을 맞추는 반면, ‘정’은 관계의 맥락에서 더 강조됩니다. 또한, 서양에서는 ‘정’과 유사한 개념으로 ‘컴패션(compassion)’이나 ‘커뮤니티(community)’가 있을 수 있습니다. ‘컴패션’은 타인의 고통을 이해하고 함께 나누려는 마음을 의미하며, ‘커뮤니티’는 공동체 의식을 강조합니다. 그러나 ‘정’은 이러한 개념들보다 더 개인적이고 관계 중심적인 특성을 지니고 있으며, 한국 사회의 집단주의 문화와 깊이 연결되어 있습니다. 결국 ‘정’은 한국 사회의 문화적, 역사적 배경 속에서 형성된 독특한 개념으로, 사람들 간의 관계를 더욱 깊고 의미 있게 만드는 중요한 요소로 작용합니다. |
|---|
(2) 믿:음 K 2.0 (스타일 가이드 적용 버전)
한국의 '정(情)' 개념과 문화적 비교1. '정(情)'의 의미정의 및 특성
주요 특징
2. 다른 문화권의 유사 개념과 비교서양의 'Compassion'과 'Empathy'
<이하 생략...> |
|---|
(3) 타사 모델
한국 문화에서 '정(情)'은 매우 중요한 개념으로, 감정적 유대감, 애정, 그리고 깊은 인간 관계의 본질을 포괄적으로 표현하는 용어입니다. '정'은 단순히 감정을 넘어 다음과 같은 여러 측면을 포함합니다:한국의 '정(情)'의 의미:1. 감정적 유대감: 가족, 친구, 동료 등과의 강한 정서적 연결감을 의미합니다. 이는 서로를 깊이 이해하고 공감하는 관 계를 강조합니다.2. 애정과 배려: 상대방을 향한 진심 어린 애정과 배려를 포함합니다. 작은 행동에도 세심한 관심을 기울이는 것이 중요 하게 여겨집니다. 3. 의리와 충성: '정'은 때로는 강한 의리와 충성심을 나타내기도 합니다. 이는 관계가 어려움에 직면했을 때도 서로를 지키려는 의지를 의미합니다. 4. 문화적 맥락: 한국 사회에서는 '정'이 공동체 의식과 밀접하게 연결되어 있어, 개인 간의 관계뿐만 아니라 사회적 유 대감에도 큰 영향을 미칩니다. 다른 문화권의 유사 개념과의 비교:1. 서양 문화 (예: 미국, 유럽) - Affection/Emotional Connection• 유사점: 서양 문화에서도 깊은 인간 관계와 감정적 유대감은 중요합니다. 친구나 가족 간의 애정 표현과 서로를 위한 배려가 강조됩니다. • 차이점: 서양 문화에서는 개인의 독립성과 자기표현이 더 강조되는 경향이 있습니다. '정'처럼 집단주의적이고 상호 의존적인 관계의 표현이 한국만큼 중심적이지 않을 수 있습니다. 또한, 감정 표현의 방식이나 적절성에 대 한 기대치가 다를 수 있습니다. <이하 생략...> |
|---|
믿:음 K 2.0 시스템 프롬프트에 스타일 가이드를 적용한 결과, 눈에 띄는 시각적 구성의 변화를 볼 수 있었습니다.
-
헤딩 사용 빈도 증가
-
불릿, 볼드 등 구조화 요소 사용 증가
-
문단 단위 분리가 안정적으로 유지
실험 결과를 받았을 때 바로 정성적인 변화를 체감했지만, 실제로 이와 같은 변화가 사용자에게 긍정적인 선택을 받을 수 있는지 확인하기 위해 블라인드 비교 평가를 시행해보았습니다.
4.2 블라인드 비교 평가 결과
총 60개 문항을 4인 평가자가 순위를 매기는 블라인드 평가를 수행한 결과,
6개 Task 전반에서 스타일 가이드가 적용된 믿:음 K 2.0 의 답변이 가장 많은 선택을 받았습니다.
스타일 가이드 적용을 통해 AI 모델 응답의 출력 형식 개선 뿐 아니라, 사용자에게도 긍정적인 시각적 경험을 줄 수 있음을 확인할 수 있었습니다.
다만, 가이드의 적용으로 인한 우려의 지점도 있었습니다. 조언/상담처럼 ‘서술 톤’이 중요한 영역에서는 원래의 장점이 희석되는 경향성이 보였던 것입니다. 즉, “형식이 좋아졌지만 내용의 감정선이 너무 정돈됨”과 같은 아쉬운 느낌을 받을 수 있었고, 이를 통해 Task 별 스타일 가이드를 더욱 정교하게 제작해야겠다는 방향을 수립하게 되었습니다.
핵심 요소로 구성된 표준 스타일 가이드를 시작으로 믿:음 K 2.0 의 SFT 데이터를 rewriting하는 작업을 시작했고, 향후 이 과정을 통해 KT AI 모델의 데이터 표준화와 답변 포맷의 표준화가 이루어지기를 기대합니다.
맺으며
이번 스타일 가이드 작업은 단순히 “포맷을 통일했다”기 보다, AI 모델이 어떤 방식으로 사용자와 소통해야 하는지에 대한 최소 기준을 마련한 과정이었다고 생각합니다.
특히 다음 두 가지 의미가 컸다고 생각합니다.
-
AI 모델이 얼마나 많이 아는가를 넘어, 어떻게 전달하는가가 사용자 경험에 직접적 영향을 준다는 점을 확인한 점
-
포맷 가이드만으로도 실제 사용자 평가에서 선택률이 개선된다는 점
이번 스타일 가이드 작업을 통해, AI 모델이 사용자에게 좋은 경험을 주려면 정확하고 풍부한 정보를 전달하는 것도 중요하지만, 사람이 받아들이기 편안한 방식으로 글자를 보여주는 방식도 그만큼 중요하다는 것을 알게 되었습니다.
KT가 앞으로 만들어나갈 AI 모델들의 출력이 사람에게 더 편안하게 읽혀서, 대화하는 모든 과정들이 더 좋은 경험으로 기억될 수 있도록 가이드 작업을 계속해 나가겠습니다.
아울러 이번 작업이 여기까지 올 수 있도록 기획 측면에서 함께 고민해준 안희정 님, 그리고 개발 구현과 실험 과정에서 큰 도움이 되어준 고준석 님, 김대희 님, 이재동 님께 진심으로 감사드립니다 ☺️
감사합니다.