안녕하세요. KT Gen AI Lab에서 AX(AI Transformation) 사업 특화 모델 개발을 담당하고 있는 김준우, 김민주입니다.

오늘은 믿:음 K 2.0 모델을 활용한 AI 에이전트의 실전 적용 사례인 언론사 기사 보조 에이전트를 소개하려고 합니다. 해당 프로젝트는 최종 발행되기 전 여러 번 수정을 거치는 기사 교정·교열 업무에 KT 믿:음 K 2.0 모델 적용을 목적으로 하며, 주요 목표는 신문사 고유의 스타일 가이드라인과 복잡한 맞춤법 규칙을 반영하는 AI 보조 에이전트를 개발하는 것입니다.

이 프로젝트의 핵심 과제는 단순한 한국어 맞춤법 검사를 넘어, 언론사만의 고유한 스타일 표기법까지 반영하여 기사 전반의 통일성을 확보하는 것이었습니다. 이를 위해서는 높은 수준의 한국어 이해 능력, 방대한 스타일 가이드북을 처리하는 Long-context 능력, 그리고 정보 사전을 기반으로 정확한 생성을 가능하게 하는 RAG 능력까지 모두 갖춘 AI 에이전트 시스템이 필요했습니다.

이번 프로젝트의 핵심 태스크는 단순 맞춤법 검사를 넘어 언론사 고유의 스타일 가이드를 반영한 정교한 교정·교열이었습니다. 우리는 이 문제를 해결하기 위해 필수 역량을 ①고수준의 한국어 이해, ②방대한 지침을 소화하는 Long-context 처리, ③정확한 정보 기반의 RAG 능력으로 정의하고, 이를 모두 갖춘 AI 에이전트를 설계 및 구축했습니다.

 이 글에서는 다음 네 가지 핵심 영역을 다루고자 합니다

본 프로젝트는 두 달 간 PoC 형태로 진행되었습니다. 처음 한 달 동안은 고객 요구 사항 파악, 에이전트 구조 설계, 모델 스펙 정의와 학습 데이터 구축에 집중하였으며, 두 번째 달에는 1차부터 3차까지 반복적인 실험과 모델 검증을 통해 단계적으로 모델의 성능을 최적화하였습니다.

이러한 태스크들을 해결해나가는 과정에서 얻은 인사이트를 바탕으로, 정답이 명확하지 않은 고난이도 언어 처리 태스크에서 AI 모델을 구현하기 위한 구체적인 방법론을 공유하겠습니다.

고객은 자체 LLM Playground를 구축하여 직원들이 개별적인 프롬프트 엔지니어링을 통해 직접 업무에 활용할 정도로 AI 기술에 대한 이해도가 높았습니다. 맞춤법 교정기, LLM을 통한 초안 생성 및 교정 같은 최신 언어 기술 솔루션을 이미 활발히 사용하고 있었으며, 시중의 일반적인 언어 AI 기술의 한계를 보완할 수 있는 "언론사 실무자를 위한 특화 솔루션"에 대한 요구 사항이 높았습니다.

여러 차례의 논의를 거쳐, 실무자들에게 실질적으로 도움을 줄 수 있는 분야로 "기사 교정 및 윤문"을 본 프로젝트의 집중 영역으로 선정하고 아래와 같은 4개의 구체적인 요구 사항을 도출했습니다.

기본적인 맞춤법 교정

기존 맞춤법 교정기와 유사하게, 기자들이 기사 초안을 작성하고 초반에 검증할 수 있는 맞춤법 교정 기능을 원했습니다. 이는 한국 맞춤법에 의거한 띄어쓰기 규범 준수 확인이나 조사, 어미 사용의 오류 등을 포함하여, 일반적인 한국어 규범을 준수하는 고품질의 기사를 작성하기 위한 필수 요건이었습니다.

고객들은 기존에 사용하던 맞춤법 검사 인터페이스에 익숙한 상태였습니다. 따라서 기존 인터페이스의 사용성은 유사하게 제공하면서 후술할 3가지 영역을 추가하는 방향으로 솔루션을 설계하기로 했습니다.

언론사 '스타일 가이드라인' 기반의 교정·교열

언론사는 수십 년간 축적된 방대한 분량의 자체적인 기사 작성 스타일 가이드라인을 보유하고 있으며, 이를 준수하는 기사를 작성하도록 규정하고 있습니다. 이러한 스타일 가이드는 일반적인 한국어 맞춤법이나 띄어쓰기 규칙 준수를 넘어, 언론사 고유의 표기 원칙과 문체를 정확하게 반영하도록 구성되어 있습니다. 예를 들어, 신문사 고유 외래어 표기법(콘텐츠 → 콘텐트), 영문 이니셜 인물 표기(L 검사 → L검사), 한국 지명 표기 규칙(대구 북구 → 대구시 북구)과 같은 언론사 고유의 기사 작성을 위한 원칙들이 존재합니다. 이로 인해 일반적인 맞춤법 검사기로는 '정답'으로 판단되는 문장도 언론사 관점에서는 수정이 필요할 수 있습니다.

이러한 가이드라인은 내부 규정뿐 아니라 언론사에서 발행된 기사를 기준으로 오랜 기간 정립되었으며, 이를 통해 언론사 기사만의 통일성을 유지하도록 합니다. 본 프로젝트에서는 모델이 이러한 스타일 가이드라인을 정확히 이해하고 준수하는 교정·교열 에이전트를 구축하는 것이 핵심 목표였습니다.

윤문

윤문은 글을 보다 매끄럽게 다듬는 과정으로, 작성된 기사 초안을 전반적으로 교열하는 폭넓은 작업을 포함합니다. 윤문은 맞춤법상으로 문제가 없더라도 진행될 수 있으며, 특히 기사를 읽게 될 독자의 이해를 돕기 위해 교열자의 판단에 따라 진행됩니다. 단어, 조사, 어미와 같은 작은 단위의 수정부터 특정 구의 변경이나 순서 조정, 넓게는 문장 전체를 재작성하거나 문단을 개편하는 것까지 모든 과정이 윤문에 해당합니다. 예를 들어, 일부 조사를 삭제하거나 수정하는 경우(국회의 몫으로 → 국회 몫으로, 별다른 이상은 없었다고 → 별다른 이상이 없었다고), 구문을 분리하거나 통일하도록 수정하는 경우(선언했는데 → 선언을 했는데, 판단을 해야 → 판단해야)와 같은 케이스가 윤문에 포함됩니다.

윤문은 정답이 존재하는 영역이라고 보기 어렵습니다. 오히려 글을 쓰고 읽는 사람과 사회적인 맥락을 모두 고려하여 보다 “선호되는 표현”으로 교정하는 작업입니다. 그렇기 때문에 모델 학습과 평가 모두에서 까다로운 난이도가 높은 도전적인 태스크입니다.

사실 관계 오류 탐지

마지막으로 실무자의 요구가 높았던 부분은 기존 맞춤법 검사기나 범용 LLM으로는 탐지하기 어려운 사실 관계 오류를 발견하고 교정하는 영역이었습니다. 기자들이 빠르게 기사를 작성하고 발행하는 과정에서 맞춤법 검사기를 사용하지만, 문맥 기반의 사실 관계 오류는 잘 탐지하지 못하기 때문입니다. 예를 들어, "조선의 태조 이성계"를 실수로 "조선의 태종 이성계"로 잘못 작성한 경우 이러한 오류를 파악하고 교정할 수 있는 솔루션을 원했습니다.

이를 탐지하기 위해서는 최신 지식을 지속적으로 검색하여 활용할 수 있어야 하며, 특히 인명, 지명, 기관명과 같은 고유명사에 대한 지식을 기반으로 문맥적 오류를 찾아내는 기술이 필요합니다. 최고 난이도에 해당하는 부분으로 판단되었으며, PoC 이후 본 구축 단계에서 고려될 수 있도록 아키텍처 설계에 반영하기로 논의되었습니다.

언론사 고객의 요구 사항을 구체적으로 파악하며, 해당 태스크의 난이도가 상당히 높다고 판단하였습니다. 모델이 높은 수준의 한국어 규범을 이해하고 교정할 수 있어야 할 뿐만 아니라, 때로는 맞춤법 상으로 틀리지 않았더라도 주어진 방대한 언론사 스타일 가이드라인에 일관되도록 문장을 교정하는 능력을 갖춰야 하기 때문입니다. 

이를 위해서는 수십 페이지의 스타일 가이드라인과 언론사 스타일에 대한 지식을 모델이 이해하는 것이 필요합니다. 그러나 방대한 정보를 긴 문맥으로 LLM의 프롬프트에 입력하는 경우, 모델의 성능이 하락하고 태스크의 난이도가 급격히 상승되는 경향을 보입니다. 이는 현재 일반적인 한국어 문법 영역에서 가장 높은 성능을 보인다고 판단하고 있는 프론티어 모델 Claude-4-Sonnet에서도 명확히 한계가 드러났습니다. 따라서 이 태스크를 효과적으로 해결하기 위해서는 범용 LLM만으로는 한계가 있으며, 언론사에 특화된 접근 방식이 필요했습니다. RAG 기반 가이드라인 참조, 언론사 스타일 사전 활용, 그리고 언론사 데이터를 활용한 특화 모델 학습이 반드시 필요하다는 결론에 도달했습니다.

태스크의 복잡성을 확인한 후, 먼저 언론사의 방대한 가이드라인 문서를 체계화하는 작업을 진행했습니다. 먼저, 언론사로부터 실제 교열팀이 검수하여 교정·교열을 진행한 데이터와 내부적으로 사용하는 가이드라인을 전달받고 이를 분석했습니다. 이에 복잡한 가이드라인에서 중복되는 내용은 통폐합하고, 유사한 교정과 교열을 하나의 범주로 묶고, 세부적인 내용은 다시 가지치기 하여 보다 체계적인 대·중·소분류가 존재하는 가이드라인으로 정제하였습니다. 또한 실제 교정·교열 데이터에서 자주 나타나는 빈도수를 분류 측정하고, 필요한 경우 언론사 측과 논의하여 추가적인 가이드라인을 추가하거나 수정 삭제하는 과정을 거쳐 세부적인 내용을 다듬었습니다. 최종적으로 실무진의 요구 사항을 구체적인 가이드라인 항목으로 변환하여, 언론사 스타일 가이드라인(A) 헷갈리는 단어 구분해쓰기(B) 언론사 외래어 표기법(C) 언론사 띄어쓰기 가이드라인(D) 오타/맞춤법 교정(E) 윤문(F) 6개의 대분류 카테고리를 정립하였습니다.

그 다음으로는 우선순위 결정이 필요했습니다. PoC 기간 동안 모든 교정 교열 태스크를 완벽하게 구현하는 것은 불가능하다고 판단되었으므로, 아래 3가지 기준에서 우선순위를 파악하기로 했습니다.

1. 빈도: 실제 언론사 교정·교열 데이터에서 얼마나 자주 발생하는가?
2. 요구 사항: 언론사 실무진들의 구체적인 요구가 있는가?
3. 난이도: 고성능 LLM을 teacher 모델로 활용하여, 학습 데이터를 효과적으로 생성할 수 있는가? (Knowledge Distillation 가능성)

이를 파악하기 위해 언론사의 실제 교정·교열 데이터를 분석하였습니다. 그 결과 언론사 스타일 가이드(A), 띄어쓰기 가이드(D), 오타/맞춤법 교정(E), 윤문(F)이 전체 교정 사항의 대부분을 차지하는 것을 확인할 수 있었습니다. 특히 헷갈리는 단어 구분해 쓰기(B), 언론사 외래어 표기법(C)는 전체 데이터에서 차지하는 비중이 매우 적었으므로, 이번 프로젝트 해결 우선순위에서는 제외하기로 하였습니다. A, D, F 다음으로 교열 빈도가 높았던 오타/맞춤법 교정(E)은 약 4%의 비율로 상대적으로 낮은 빈도를 보였으나, 다음과 같은 이유로 태스크에 포함하기로 결정하였습니다. 첫째, 해당 작업의 난이도가 높지 않아 구현이 용이하며, 둘째, 기본적인 오타 및 맞춤법 오류가 교정되지 않을 경우 사용자 만족도에 부정적인 영향을 미칠 것으로 판단되었습니다. 이는 교정·교열의 가장 기초적인 작업에 해당하므로 필수적으로 포함할 필요가 있다고 보았습니다.

난이도 측면에서는 명확한 정답이 없는 윤문(F)영역의 난이도가 가장 높았습니다. 그럼에도 "부사와 술어 반복의 윤문을 잘 교정하면 좋겠다"는 고객사의 요청사항을 반영하여 윤문 중 일부 세부 카테고리는 프로젝트에서 포함하기로 하였습니다. 또한 실제 PoC 수행 범위인 A,D,E,F에 대하여, 세부적인 소분류 단위 분석을 진행하였습니다. 프론티어 모델을 활용하여 교정이 잘 탐지, 교정되지 않는 경우는 난이도가 매우 높으므로 제외하고, 실제 교정 및 교열 데이터에서 거의 나타나지 않는 영역 또한 제외했습니다. 이와 같은 과정을 거쳐, 최종적으로 태스크 커버리지는 1순위 23개(A, D, E), 1.5순위 5개(F), 2순위 23개(A, D, E)로 결정되었습니다.

이번 프로젝트에서는 앞서 제시한 태스크를 효율적으로 해결하기 위하여 교정·교열 에이전트를 설계하였습니다.

사용자 맞춤형 구성

전체 파이프라인을 반드시 활용해야 하는 것이 아니라, 사용자가 필요한 부분만 선택하여 활용할 수 있도록 구성하였습니다. 예를 들어, 신입 기자는 맞춤법 교정부터 지원받고자 할 수 있으며, 숙련 기자는 맞춤법 수정 이후 단계부터 활용하고자 할 수 있습니다. 이처럼 사용자별 요구에 따라 에이전트 파이프라인의 진입 시점을 차별화할 수 있습니다. 또한 믿:음 K 2.0 교정 모델은 태스크 별로 개별 호출이 가능할 뿐만 아니라, 가이드라인 내 중분류 및 소분류 항목을 선택적으로 입력하여 해당 항목만 수정하도록 구성할 수도 있습니다. 이러한 특성을 활용하여 사용자는 AI 보조도구의 신뢰도가 높은 영역만을 세밀하게 선택·조정할 수 있으며, 이에 따른 사용성 증대를 기대할 수 있습니다.

모델 출력 설명성 제공

사용자가 기자, 즉 한국어 규범에 대한 전문성과 문장 작성 역량이 높은 집단이라는 점을 고려하여, AI 보조도구의 제안을 근거와 함께 제시하고 사용자가 직접 수용 여부를 결정할 수 있도록 설계하였습니다. 교정 모델은 오류 탐지, 교정안, 가이드라인 분류, 설명 근거를 제공하므로, 사용자는 이를 검토한 후 AI 모델의 교정 제안을 수용(Accept) 또는 건너뛰기(Skip) 할 수 있는 인터페이스를 구현할 수 있습니다. 이를 통해 AI 모델의 판단 근거에 대한 설명가능성을 제공받을 뿐만 아니라, 사용자가 원하는 방식의 교정만 선택적으로 적용할 수 있도록 지원합니다.

지속가능성 및 유지보수 용이성

에이전트는 유지 보수 편의성을 제고하고 지속적 활용이 가능하도록 설계되었습니다. 언론사의 가이드라인 및 사전이 갱신될 경우, 모델 재학습 없이도 최신 지식을 반영하여 활용할 수 있도록 파이프라인을 구성하였습니다. 따라서 언론사 가이드라인 또는 사전 업데이트가 발생하더라도 파이프라인의 연속적 사용이 가능합니다. 또한 사전은 발행된 고품질 기사로부터 생성되어 교정 대상 단어 및 구를 포함할 수 있는데(사전에 대한 자세한 내용은 4.2절 참고), 언론사의 지속적인 기사 발행을 통해 이를 기반으로 한 교정이 이루어질 수 있도록 태스크를 구성하였습니다. 현 PoC 단계에서는 미구현되었으나, 실무진이 요구한 사실관계 오류 탐지 태스크 역시 RAG를 통해 파이프라인에 통합될 수 있도록 고려하여 설계하였습니다. 이처럼 구성된 에이전트는 지속적인 요구 사항 추가 및 수정에도 유연하게 대응하고 보수될 수 있도록 설계되었습니다.

언론사 스타일 가이드라인(A)부터 윤문(F)까지 전 영역의 태스크를 모델이 일괄 수행하기 위해서는 상당한 분량의 가이드라인을 입력으로 처리해야 합니다. 단일 영역만으로도 20k 토큰을 초과하는 가이드라인을 4개 영역에 걸쳐 동시에 입력할 경우, 모델 성능 저하가 우려됩니다. 이에 따라 체계화된 가이드라인을 기반으로, 기사 교정 시 단일 가이드라인에 집중하여 순차적으로 교정을 수행하는 파이프라인을 구축하였습니다.

이러한 설계 방식은 모델이 처리해야 하는 입출력 길이를 단축하고 태스크 난이도를 낮추는 효과로 성능 향상을 기대할 수 있으며, 특히 특정 태스크 영역(예: 띄어쓰기, 맞춤법 교정)에 대한 집중적 탐지 및 교정이 가능하도록 출력을 구조화함으로써 정확도 향상을 기대할 수 있습니다.

언론사 태스크는 단순히 모델의 내재적 한국어 맞춤법 지식을 활용하는 것이 아니라, 근거 문서인 가이드라인을 기반으로 오류를 탐지하고 교정하는 태스크입니다. 따라서 선행 단계에서 체계화한 교정 지식을 효과적으로 활용하기 위해 RAG 기반 설계를 적용하였으며, 이는 크게 두 가지 방식으로 구현됩니다.

가이드라인 기반 RAG

먼저, 체계화된 스타일 가이드라인을 RAG로 활용합니다. 예를 들어, 'D. 언론사 띄어쓰기 가이드라인' 교정을 진행할 경우, 해당 영역의 가이드라인만 선택적으로 입력되도록 설계하였습니다. 이는 제공된 내용을 근거로만 교정을 수행하도록 하여, 가이드라인에 명시되지 않은 내용은 교정 대상에서 제외하고, 신규 가이드라인 추가 시에는 이를 반영하여 교정할 수 있도록 함으로써 모델의 지속가능성을 고려한 설계입니다.

사전(Dictionary) 기반 RAG

가이드라인은 교정의 대원칙만을 제시할 뿐, 언론사의 모든 예외 사례를 포괄하기에는 한계가 있습니다. 이에 실제 교정·교열이 완료된 기사 데이터로부터 교정 노하우와 표제어를 직접 학습할 수 있도록 사전을 구축하였고, 이를 RAG의 두 번째 지식 소스로 활용하여 교정·교열 성능 향상을 도모하였습니다.

일반 교정 태스크에서는 오류로 식별되지 않는 지명·기관·단체명 표기, 구두점 표기, 합성명사 띄어쓰기 등의 사례를 사전에 포함시켰습니다. 이를 통해 빈번한 오류 발생 단어 및 구문을 데이터베이스화하여 실제 상황에서의 오류 교정 및 성능 개선을 가능하게 하였습니다. 사전은 기사 교열 단계에서 관련 단어 발견 시 RAG를 통해 검색되어 가이드라인과 함께 모델 입력으로 제공됨으로써, 모델 성능 향상에 직접적으로 기여할 뿐만 아니라 실시간 적용 및 유지 보수 용이성을 제고하는 특장점을 지닙니다.

위 에이전트 설계를 바탕으로, 실제 스타일 가이드 교정·교열을 수행하는 각 태스크의 믿:음 K 2.0 모델 인터페이스는 다음과 같이 구성됩니다.

모델 인터페이스는 LLM의 태스크 이해도 향상을 위해, 시스템 프롬프트의 역할, 태스크 정의를 입력받고, 사용자 프롬프트, 스타일 가이드북, 사전 검색 결과, 그리고 교정 대상 문장 또는 문단을 입력받습니다. 이후 모델이 대상으로 하는 태스크에 대한 오류 탐지 및 교정 내용을 출력합니다. 구체적으로는 오류 내용 교정, 교정 항목 전후의 맥락 정보, 그리고 교정 작업자의 이해를 돕기 위한 가이드라인 분류 및 설명을 제공합니다.

AI 에이전트 설계 이후, 특화 모델 학습을 위한 학습 데이터를 구축했습니다. 데이터 생성 과정은 1) 교정·교열 전후 기사 데이터 필터링 2) Diff 알고리즘을 활용한 교정 지점 추출 3) 오류 교정 데이터에 대하여 카테고리별 합성 데이터 구축 (가이드라인 근거, 설명 생성)의 과정으로 이루어졌습니다.

언론사는 교열 담당자들이 직접 검수하여 만든 고품질 교정 전후 데이터셋을 보유하고 있었습니다. 언론 기사의 교정 과정이 기록되어 있는 데이터를 바탕으로 분석을 진행하였습니다. 

그러나 해당 데이터를 분석한 결과, 일부 케이스는 '스타일 교정·교열' 학습에 부적합한 것으로 판단되었습니다. 구체적으로는 ① 새로운 사실이 추가되거나 기존 정보가 삭제되는 경우, ② 기사의 구조 자체가 재편되는 경우, ③ 취재 내용이 업데이트되면서 내용이 대폭 변경되는 경우 등이 해당됩니다. 이러한 데이터가 학습에 포함될 경우, 모델이 가이드라인에 근거한 교정을 넘어 기사 내용 자체를 임의로 변경하도록 학습될 위험이 있었습니다.

따라서 다음과 같은 두 가지 접근 방식을 취했습니다.

1. 전달받은 기사 중 학습 데이터로 부적합한 경우를 필터링
2. 학습 데이터는 교정이 이루어진 부분만을 정밀하게 추출

학습 데이터로 적합한 데이터를 선정하기 위해 과도한 HTML 태그 포함 데이터 제거, 원본 기사에 비해 너무 많은 변화가 있었던 데이터를 제거하여 학습 데이터 시드로 활용하였습니다.

교정·교열 모델이 수정이 필요한 부분을 탐지하고 해당 부분만 수정하도록 하려면, 학습 데이터에서 "어디가 변했는지"를 정확히 파악해야 합니다. 이를 위해 Diff 알고리즘을 활용했습니다. 고품질 기사 데이터에서 교정·교열 전후 기사를 비교하여 변경된 부분(교정 전후 형태)을 추출했습니다. 이 과정을 통해 고품질 기사 교정 전후 데이터에서 오류가 발생한 부분을 탐지하고, 올바르게 교정된 부분을 식별하여 오류 탐지 및 교정 데이터 쌍을 얻을 수 있었습니다. 이는 기자들이 직접 작성하고 교열자가 검수한 고품질 데이터이자, 실제 사용 환경에서 얻은 실사용성 데이터라는 점에서 학습 데이터로서 높은 가치를 지녔습니다.

다만 이 데이터는 오류를 탐지하고 교정했다는 사실만을 보여줄 뿐입니다. 본 프로젝트에서 설계하고 구축한 파이프라인은 오류 탐지 및 교정과 더불어, 어떤 가이드라인에 근거하여 왜 수정하게 되었는지 설명이 포함되어야 하기 때문에 인터페이스 또한 그에 맞춰 준비하고자 했습니다. 따라서 이 부분에 대한 설명을 태깅하는 작업이 추가적으로 필요했습니다. 이에 최신 프론티어 모델을 활용하여 기존 데이터에 교정 근거가 되는 가이드라인 체계를 분류하고 태깅했으며, 그 이유를 설명할 수 있도록 추가적인 합성 데이터 구축을 진행했습니다.

프론티어 모델을 직접 태스크 수행에 활용했을 때는 낮은 성능을 보였기 때문에, 학습 데이터 태깅의 정확도에 대한 우려가 컸습니다. 이를 극복하기 위해 데이터셋 태깅 시 교정 전후 문장과 Diff 포인트를 제공하여 데이터를 합성함으로써 정확도를 높였습니다.

예를 들어, "불과 1시간도 되지 않았다."를 "불과 한 시간도 되지 않았다."로 교열한 데이터가 있습니다. 만약 태스크 해결처럼 "불과 1시간도 되지 않았다."에서 고쳐야 할 부분을 탐지하고 교정하며 가이드라인 근거를 제공하라고 요구한다면, 프론티어 모델의 정확도가 크게 떨어져 학습 데이터로 사용하기 어려웠습니다. 그러나 "1시간"이 "한 시간"으로 변경된 것을 입력으로 제공하고, 이러한 변화의 근거가 된 가이드라인을 태깅하고 설명하도록 할 경우 정확도가 높아졌습니다.

이와 같이 모델이 직접 수행하기 어려운 오류 탐지 및 교정 부분은 전달받은 고품질 데이터와 Diff 알고리즘을 활용하여 직접 구축하고, 이를 기반으로 "가이드라인 분류 및 설명" 부분만 프론티어 LLM의 도움을 받아 합성했습니다. 이를 통해 최종적으로 생성된 학습 데이터셋을 구성했습니다.

특히 이 데이터는 실제 기사 교열 현장에서 사용된 교정 전후 데이터를 기반으로 제작되었기 때문에, 실무에서 빈번하게 발생하는 교열 교정 사례가 자연스럽게 반영될 수밖에 없었습니다(long-tail 분포). 이는 구축된 학습 데이터의 Diff 포인트별 가이드라인 소분류 근거 통계를 확인하면 이러한 경향성이 뚜렷합니다. 따라서 최대한 많은 양의 학습 데이터를 확보하기 위해 v1부터 v3까지 점진적으로 데이터의 양을 늘려가며 데이터셋을 구축했습니다.

언론사의 표기 규칙 중 상당수는 일반 국어 규범의 '예외'에 해당합니다. 예를 들어 언론사에서는 "KT"를 기사 첫 부분에 작성할 때는 "KT(케이티)"처럼 괄호 안에 풀어쓴 명칭을 함께 표기해야 합니다. 또한 "장기체류"는 맞춤법 상으로 문제가 없는 표현이지만, 언론사에서는 "장기 체류"로 띄어 쓰는 것을 권장합니다.

이러한 예외 규칙들은 가이드라인 규정만으로 파악하기 어렵습니다. 따라서 언론사의 고유한 표기 원칙을 반영하기 위해서는 명시적인 지식 주입이 필요했습니다. 따라서 태스크 가이드라인 중 예외 규칙 사전이 필요한 부분들을 정의하고, 해당 부분들에 대해 언론사 스타일 사전을 구축했습니다.

사전 구축은 다음과 같은 6단계 프로세스로 진행되었습니다.

1. Diff 데이터 확보 : 4.1절에서 구축한 교정 전후 Diff 데이터를 활용했습니다. 이미 교열 담당자들이 검수한 고품질 교정 사례가 포함되어 있어, 언론사의 실제 표기 원칙을 반영한 사전을 구축할 수 있는 기반이 되었습니다.
2. 다중 항목 추출: 하나의 문장에서 여러 개의 교정 항목이 동시에 발생하는 경우가 있었습니다. 예를 들어 "서울시청과 부산시청"에서 "서울시청"과 "부산시청"이 각각 "서울시 청사"와 "부산시 청사"로 교정되는 경우, 이를 개별 항목으로 분리할 필요가 있었습니다. 프론티어 모델을 활용하여 의미가 동일한 어휘들을 개별 교정 항목으로 분리했습니다.
3. 최소 span 추출 : 교정 항목에서 표제어를 생성하기 위해 형태소 분석을 수행했습니다. "장기체류는"과 같이 조사가 붙어 있는 경우 "장기체류"만을 추출하여 사전의 표제어로 사용했습니다. 이를 통해 조사나 어미 변화와 무관하게 동일한 규칙을 적용할 수 있도록 했습니다.
4. 의미 정의 : 각 표제어가 어떤 의미로 사용되었는지 명확히 하기 위해, 프론티어 모델을 활용하여 의미 정의를 생성했습니다. 예를 들어 "장기체류"의 경우 "한 곳에 오래 머무르는 것"과 같은 의미 설명을 추가하여, 동음이의어를 구분하고 문맥에 맞는 사전 검색이 가능하도록 했습니다.
5. 규칙 불일치 제거 : 사전 내에서 서로 모순되는 규칙들을 식별하고 제거하는 작업을 수행했습니다. 예를 들어 동일한 표제어에 대해 "띄어쓰기"와 "붙여쓰기" 규칙이 동시에 존재하는 경우, 실제 기사 데이터에서의 사용 빈도와 최신 가이드라인을 참고하여 일관된 규칙 하나만을 남겼습니다.
6. 사전 완성 : 최종 검증을 거쳐 약 2.3만 개의 표제어로 구성된 사전을 완성했습니다. 사전에는 표제어, 교정 전후 형태, 의미 정의, 해당 가이드라인 분류 등의 정보가 포함되었습니다.

사전 구축 과정에서 특히 주목할 만한 점은 동음이의어 처리입니다. 예를 들어 "진화"라는 단어는 생물학적 의미의 "진화"와 "불이 난 것을 끔"이라는 의미로 사용될 수 있는데, 4단계에서 생성한 의미 정의를 활용하여 이러한 동음이의어를 구분하고, 문맥에 맞는 교정 규칙을 적용할 수 있도록 사전을 구성했습니다.

구축한 사전을 실시간으로 활용하려면 빠른 검색 속도가 필수적입니다. 기사 한 편당 수백 개의 어절을 검사해야 하는 상황에서, 사전 검색이 병목이 되어서는 안 되기 때문입니다.

이를 위해 Trie 구조를 기반으로 하는 Aho-Corasick 알고리즘을 선택했습니다. 이 알고리즘은 다중 패턴 매칭에 최적화되어 있어, 하나의 텍스트에서 수만 개의 사전 항목을 동시에 검색할 수 있습니다. 구현 결과는 다음과 같습니다:

[표 1] 사전 검색방법에 따른 처리 시간 비교

• Recall 100% 달성: 사전에 등재된 모든 항목을 빠짐없이 검색
• 평균 검색 시간 2ms 미만: 실시간 처리가 가능한 수준

이렇게 구축된 사전은 RAG 형태로 모델에 통합되었습니다. 구체적으로는 입력 기사 텍스트에 대해 먼저 사전 검색을 수행하고, 검색된 항목들을 모델의 프롬프트에 컨텍스트로 제공하는 방식입니다. 이를 통해 모델은 언론사 고유의 예외 규칙들을 정확하게 반영하여 교정·교열을 수행할 수 있게 되었습니다.

교정·교열 데이터 구축이 3번에 걸쳐 완성되면서, 학습은 데이터 구축 시기에 맞춰 1차, 2차, 3차로 단계적으로 이루어졌으며 각 단계에서 여러 가지 전략적 선택이 요구되었습니다. 이러한 전략은 초기 설계를 기반으로 모델 평가 결과에 따라 유기적으로 수정하고 다듬어졌으며, 그 선택이 실제 성능에 미치는 영향을 분석했습니다.

교정·교열이라는 복잡한 태스크를 학습시키기 위해, 크게 네 가지 전략적 방향을 결정하게 되었습니다. 먼저 설계에서 분해된 세부 태스크를 전문적으로 학습한 개별 모델을 만들 것인가(Single-task), 아니면 여러 태스크를 통합적으로 학습한 하나의 모델을 만들 것인가(Multi-task)를 고려하였습니다. 다음으로, 구축한 표제어 사전을 어떤 방식으로 모델 학습에 반영할 것이며, 오류 탐지와 교정을 위한 데이터 구성을 어떻게 최적화할 것인가를 고민하였습니다. 마지막으로 구축한 데이터 비율의 학습 가중치를 조정하는 Meta learning으로 그 중 Negative 데이터 비중을 조정하는 실험을 했습니다. 이러한 전략들은 1차부터 3차까지의 교정·교열 데이터로 학습 및 평가를 진행하며 얻은 인사이트를 기반으로 도출되었습니다. 이를 통해 모델 학습이 초기 설계대로 고정되지 않고, 평가 결과에 따라 지속적으로 개선되는 반복적 프로세스임을 다시 한번 확인할 수 있었습니다.

Single Task vs. Mulit Task 학습

Single-Task 접근법은 스타일 가이드의 태스크 단위인 언론사 스타일(A), 언론사 띄어쓰기(D), 맞춤법/오타 교정(E), 윤문(F) 등 각 세부 태스크마다 독립적인 모델을 학습시키는 방식입니다. 이론적으로는 각 영역에서 높은 전문성을 기대할 수 있지만, 실제 서비스 환경에서는 여러 모델을 순차적으로 실행해야 하므로 응답 속도나 시스템 복잡도 측면에서 부담이 있습니다. 반면 Multi-task 접근법은 하나의 모델이 다양한 교정·교열 태스크를 모두 처리하도록 학습시키는 방식으로, 태스크 간 지식 공유를 통한 시너지 효과를 기대할 수 있지만 개별 태스크 성능이 희석될 가능성도 존재합니다. 

RAG 기반의 사전 검색 전략

수 만개의 표제어 사전을 모델에 통합하는 방법도 중요한 설계 포인트였습니다. 사전 검색 결과를 모델 입력에 직접 포함시키는 RAG 방식을 채택했는데, 이는 모델이 언론사 고유의 표기 규칙을 참조할 수 있도록 하면서도 사전 내용이 업데이트될 때 모델 재학습 없이 즉시 반영할 수 있다는 장점이 있기 때문입니다.

오류 탐지 특화 데이터 및 맞춤법 데이터 셋 추가

학습 데이터를 구성하면서 얻은 인사이트 중 하나는, 교정·교열 작업에서 가장 중요한 것은 "어디를 고칠 것인가"를 정확히 찾아내는 탐지(Detection) 능력이라는 점입니다. 특히 언론사 가이드라인에서 제시하는 표기 규칙은 일반 맞춤법과 다른 경우가 많기 때문에, 모델이 언론사 스타일 관점에서 오류를 정확히 식별하는 능력이 필수적이었습니다. 이에 따라 교정 전/후 데이터 외에, 오류 부분을 탐지하는 것에만 집중하는 별도의 데이터셋을 구성했습니다. 이 데이터는 "이 문장에서 어떤 부분이 언론사 스타일에 맞지 않는가"를 학습하는 데 집중하며, 실제 교정 형태가 아닌 오류 위치와 유형을 정확히 파악하는 것을 목표로 했습니다. 탐지 능력이 향상되면 교정 품질도 자연스럽게 개선될 것으로 판단했기 때문입니다.

Negative 데이터 비중 최적화

실제 교정·교열 환경에서는 모든 문장에 오류가 있는 것이 아닙니다. 오히려 이미 올바르게 작성된 문장을 그대로 두어야 하는 경우가 많습니다. 모델이 불필요한 수정을 제안하는 것을 방지하기 위해, 교정 대상이 없을 때 "수정할 사항 없음"이라고 판단하는 Negative 데이터의 비중을 조정했습니다. 초기에는 전체 학습 데이터의 10%만 Negative 샘플로 구성했으나, 이 경우 모델이 지나치게 많은 교정을 제안하는 경향이 나타났습니다. 실제 언론사 교정 데이터에서 관찰되는 Negative 비율인 50%까지 증가시켰을 때 가장 균형 잡힌 성능을 보였습니다. 이는 학습 데이터의 분포가 실제 사용 환경의 분포와 유사할 때 모델이 더 안정적으로 작동한다는 일반적인 원칙과도 일치하는 결과였습니다.

모델 평가는 설계 단계에서 정의된 태스크의 성격에 따라 두 가지 방향으로 진행했습니다. 명확한 정답과 규칙이 존재하는 규칙 기반 교정인 언론사 기사 스타일 가이드(A), 언론사 띄어쓰기 가이드(D), 맞춤법/오타 교정(E) 영역과 문맥의 자연스러움이 중요한 윤문(F) 영역으로 나누어 모델의 성능을 검증했습니다.

명확한 가이드라인과 정답이 존재하는 언론사 기사 스타일 가이드(A), 띄어쓰기(D), 맞춤법/오타(E) 태스크는 실제 출간된 기사로 구성된 In-house Test Set을 활용해 정량적으로 평가했습니다.

평가 지표는 모델의 입출력 구조에 기반해 3가지로 설계했습니다. 교정·교열 작업의 특성을 고려하여 오류 자체의 명확한 위치를 탐지하는 오류 탐지(Error Detection), 탐지한 오류를 명확한 가이드에 맞춰 교정하는 오류 교정(Error Correction), 마지막으로 해당 오류가 어떤 근거로 분류되었는지 평가하는 가이드라인 근거 분류(Guideline Classification)로 구성됩니다. 이러한 평가 지표들은 Precision(정밀도)으로 평가됩니다. 교정·교열 업무의 특성상 잘못된 수정 제안은 기자나 편집자의 신뢰를 크게 떨어뜨리고 추가 검토 부담을 증가시킵니다. 실제로 오류가 아닌 부분을 오류로 지적하거나(False Positive), 잘못된 교정을 제안하는 것은 오류를 놓치는 것(False Negative)보다 더 큰 문제가 될 수 있습니다. 이는 마치 문법 검사기가 정확한 문장에 빨간 밑줄을 그어 불필요한 수정을 요구할 때 사용자가 느끼는 불편함과 같습니다. 따라서 모델이 제안하는 교정의 정확성, 즉 "모델이 교정을 제안했을 때 그것이 실제로 올바른 교정인가"를 측정하는 Precision을 통해 모델의 신뢰도를 평가하였습니다.

 Single-task vs Multi-task 성능 비교

개별 태스크에 특화된 모델들과 통합 Multi-task 모델의 성능을 비교했습니다. Multi-task 통합 모델이 대부분의 세부 태스크에서 Single-task 모델과 유사하거나 더 나은 성능을 보였습니다. 이는 교정·교열의 여러 세부 태스크들이 완전히 독립적이지 않고 서로 연관되어 있기 때문으로 분석됩니다. 예를 들어 띄어쓰기를 올바르게 판단하려면 품사와 문맥을 이해해야 하는데, 이러한 능력은 외래어 표기나 구두점 사용 판단에도 도움이 됩니다. Multi-task 학습을 통해 이러한 공통 능력이 강화되면서 개별 태스크 성능도 함께 향상된 것으로 보입니다. 

  학습 전략별 점진적 성능 개선

[그림 10] 학습 전략별 성능 개선 추이 (Precision)

Negative 데이터 비중을 조정했을 때 모든 카테고리에서 기본 성능 대비 큰 폭의 향상이 나타났습니다. 특히 맞춤법/오타(E) 카테고리에서 오류 탐지 정확도가 0.455에서 0.576로 크게 개선되었는데, 이는 모델이 불필요한 수정을 줄이고 실제 오류에 집중하게 되었음을 의미합니다. 

사전 통합(RAG) 전략은 특히 띄어쓰기(D) 카테고리에서 두드러진 효과를 보였습니다. 오류 탐지가 0.706에서 0.762로, 오류 교정이 0.672에서 0.728로 향상되었습니다. 이는 언론사 고유의 띄어쓰기 원칙이 사전을 통해 명시적으로 제공될 때 모델의 판단 정확도가 높아졌음을 보여줍니다. 맞춤법/오타(E) 카테고리에서도 오류 교정 성능이 0.402에서 0.490로 크게 향상되었습니다. 

흥미로운 점은 오류 탐지 특화 데이터를 추가했을 때 띄어쓰기(D) 카테고리에서 모든 지표가 가장 높은 성능을 기록했다는 것입니다. 오류 탐지가 0.8120, 오류 교정이 0.7760, 근거 분류가 0.7047에 달했습니다. 이는 "어디를 고칠 것인가"에 대한 학습이 강화되면서 교정 품질도 자연스럽게 개선되었음을 의미합니다. 반면 맞춤법/오타(E)에서는 일부 지표가 소폭 하락했는데, 이는 오류 탐지 특화 데이터가 언론사 스타일 관점의 오류 식별에 더 최적화되어 있기 때문으로 분석됩니다.

  특화 모델 vs 범용 모델 성능 비교

언론사 데이터로 특화 학습을 진행한 믿:음 K 2.0 모델과 범용 프론티어 모델인 Claude-4-Sonnet의 성능을 비교했습니다. 정답이 비교적 명확하게 존재하는 언론사 스타일(A), 띄어쓰기(D), 맞춤법/오타(E) 영역에서 특화 학습을 진행한 믿:음 K 2.0 모델이 Claude를 큰 폭으로 상회하는 성능을 보였습니다. 특히 언론사의 고유한 표기 규칙이 적용되는 스타일 가이드(A) 영역에서 믿:음 K 2.0 모델의 오류 탐지 정확도가 0.5861인 반면 Claude는 0.08에 그쳤으며, 일반 규범과 다른 언론사 띄어쓰기 원칙이 적용되는 D 영역에서도 믿:음 K 2.0 모델(0.8120)이 Claude(0.18) 대비 4.5배 높은 성능을 기록했습니다.

이는 명확한 규칙이 있는 태스크일수록 특화 학습의 효과가 크다는 것을 보여줍니다. Claude와 같은 범용 모델은 일반적인 한국어 문법과 맞춤법에는 강하지만, 언론사만의 독특한 스타일 규칙이나 예외 사항에는 대응하기 어려운 한계를 드러냅니다.

윤문(F)은 정답 기준이 주관적이기 때문에 단순 정량적 지표만으로는 품질을 온전히 평가하기 어렵습니다. 이에 실제 언론사 기사를 대상으로 믿:음 K 2.0 모델, Gemini-2.5-Flash, Claude-4-Sonnet 세 가지 모델의 윤문 결과를 '의미 보존', '자연스러움', '일관성' 세 가지 기준으로 정성 평가를 진행했습니다. 각 기준은 5점 척도로 평가되었으며, 평가자는 언론사의 전문 기자로 구성되었습니다.

평가 결과, 방대한 데이터를 학습한 범용 프론티어 모델(Gemini, Claude)이 원문의 전반적인 윤문 성능에서는 우위를 보였습니다. 하지만, 문장의 유창함을 나타내는 '자연스러움'과 글의 톤앤매너를 유지하는 '일관성' 측면에서는 믿:음 K 2.0 모델이 범용 모델과 큰 격차를 보이지 않음을 확인했습니다. 

이는 믿:음 K 2.0 모델이 한국어 문장을 자연스럽게 구사하고 일관된 문체를 유지하는 기본 역량을 충분히 갖추고 있음을 시사합니다. 다만 전체적인 경향성을 볼 때, 명확한 규칙이 존재하는 태스크는 5.2.1절에서 관찰한 바와 같이 특화 학습의 효과가 크지만, 윤문과 같이 주관적 판단과 맥락 이해가 중요한 영역에서는 대규모 범용 모델의 기본 언어 능력이 성능에 더 큰 영향을 미침을 확인할 수 있었습니다.

현업 적용을 위한 설계의 재구성

실무 레벨에서 AI를 도입한다는 것은 모델을 단순히 갈아 끼우는 것이 아니라, 기존 서비스의 워크플로우에 맞춰 설계를 조정하는 과정입니다. 이번 프로젝트에서 가장 많은 시간이 소요된 것 또한 대규모 언론사 가이드라인을 통폐합하고, 이를 모델이 이해하기 쉬운 단위로 태스크를 분해(Decomposition)하며, 입출력(I/O) 구조를 재정의하는 설계 과정이었습니다. 특히 빈도와 난이도를 고려해 태스크의 우선순위를 정하고 에이전트와 RAG를 통한 복잡도 관리는, 추후에도 활용 가능한 파이프라인 구축을 위한 선택이였습니다. 결국 도메인 특화 모델의 수준 높은 성능을 위해서는 데이터 학습 이전에, 현업의 요구 사항을 분석하고 이를 에이전트 설계에 반영하는 과정이 필수임을 시사합니다.

데이터 간극 극복과 프론티어 모델의 활용

학습용 데이터와 실제 서비스 환경에서 입력되는 데이터 사이에는 필연적인 차이가 존재합니다. 이번 사업에서도 실제 환경과 유사하게 Negative 데이터의 비중을 50%까지 늘렸을 때 오류 탐지 성능이 가장 큰 폭으로 향상되는 결과를 얻었습니다. 이는 학습 데이터의 분포를 실제 사용 환경에 맞춰 정교하게 설계하는 것이 중요함을 나타냅니다. 또한, 이러한 고품질의 학습 데이터를 구축하는 과정에서 Claude-4-Sonnet과 같은 프론티어(Frontier) 모델의 활용은 필수적이었습니다. 도메인 특화 모델을 만들기 위해서는 그보다 뛰어난 성능을 가진 모델이 교사(Teacher)로서 양질의 데이터를 생성해 주어야 하기 때문입니다. 즉, 비용 효율적인 서비스 운영을 위해 도메인 특화 모델을 쓰더라도, 그 모델을 만드는 과정에는 사용 가능한 범위 내에서 최고 성능의 모델을 적극적으로 활용해야 합니다.

 데이터-학습-평가의 반복 프로세스의 중요성

프로젝트는 데이터 구축, 모델 학습, 성능 평가의 사이클을 반복하며 완성됩니다. 이번 사례에서도 Single-task와 Multi-task 학습 방식을 비교하고 평가하는 과정에서, 학습은 통합적으로 하되 추론은 개별적으로 수행하는 것이 성능과 효율성(속도, 관리 용이성) 모두에서 우수하다는 점을 발견했습니다. 또한 정량적 지표뿐만 아니라 정성 평가를 병행함으로써 부족한 데이터 영역을 식별하고, 이에 맞춰 평가 지표를 수정하며 다시 설계를 개선하는 과정을 거쳤습니다. 이러한 프로세스를 통해 시스템은 고도화되며, 당연하지만 프로젝트 성공을 높이는 중요 요소임을 확인할 수 있었습니다.

이번 프로젝트는 언론사가 축적해온 스타일 가이드와 편집 노하우를 AI로 구현함으로써, KT 자체 개발 모델 및 기술로 전문적인 한국어 글쓰기 영역에서도 실무 수행이 가능함을 확인할 수 있었습니다. 이 과정에서 검증된 도메인 특화 학습의 효과와 데이터 설계 전략에 대한 노하우는, 향후 KT의 AICC 고도화 및 신규 AX 사업을 구체화하는 데에도 중요한 사례가 될 것으로 보입니다.

"고객 요구 사항 파악-데이터 설계-도메인 특화 학습/평가"로 이어지는 파이프라인을 다양한 산업 영역에 적용시켜, 노하우를 축적시켜 나간다면 각 분야의 고유한 문제 해결에도 기여할 수 있을 것이라 생각합니다. 향후 새로운 사업을 통해 얻게 될 실무 경험과 인사이트를 지속적으로 소개할 수 있기를 기대합니다. 긴 글 읽어주셔서 감사합니다.