Llama K 모델, 왜 그리고 어떻게 만들었는가

안녕하세요. 저는 Agentic AI Lab에서 언어 모델 연구 개발을 진행하고 있는 이상욱 입니다.

이번에 소개 드릴 Llama K 모델은 한국 비즈니스 환경에 최적화된, 740억 파라미터 규모의 오픈소스 기반 AI 모델입니다.

KT의 AI 모델 라인업에서 Llama K는 KT의 자체 기술을 기반으로 개발한 독자 모델 믿:음 K 2.0 과, Microsoft와 협업해 만든 협력모델 SOTA K 사이에 위치한 실용적인 모델로, 성능과 경제성, 그리고 비즈니스 적용의 유연성까지 모두 고려해 설계되었습니다.

이번 글에서는 Llama K 모델이 어떤 배경에서 탄생했는지, 그리고 어떤 과정을 거쳐 개발 되었는지를 소개 드리고자 합니다.

0. 왜 오픈소스 Meta Llama 모델을 선택했는가?

1) 신뢰성과 비용 효율성

Meta Llama 모델은 구조, 학습 데이터, 학습 방식까지 모두 투명하게 공개되어 있습니다. 이미 학계와 산업계에서 폭넓게 검증된 만큼, 신뢰할 수 있는 기반 모델입니다.

또한 오픈소스를 활용하면 불필요한 비용을 줄일 수 있고, 특정 도메인에 맞게 유연하게 최적화 할 수 있다는 장점도 있습니다.

2) 성능과 효율의 균형

Meta에서 공개한 Llama 3.3 모델은 70B 규모로, 고성능을 유지하면서도 비교적 비용 효율적인 운용이 가능합니다. 반면 100B 이상의 초대형 모델은 성능은 뛰어나지만, 실제 서비스 환경 에서의 운용 비용이 부담이 될 수 있습니다. 이러한 현실적인 제약과 실용성을 고려하여 70B 수준의 사이즈 모델을 선택하게 되었습니다.

3) KT만의 독자적 최적화 기술 적용 가능

Llama는 오픈소스 커뮤니티의 활발한 지원을 받고 있으며, 구조와 학습 코드가 공개되어 있어 자유로운 수정과 확장이 가능합니다. 이러한 개방성을 바탕으로 독자 학습 방법을 적용하기 용이한 장점이 있었습니다.

1. 한국어 지식의 확장, 그 긴 여정의 시작

다른 글로벌 오픈소스 모델들과 마찬가지로, Llama 모델 역시 한국어 실무 환경에 바로 적용하기에는 한계가 있습니다. 대부분의 오픈소스 LLM은 영어 중심의 데이터셋으로 학습되었기 때문에, 한국어처럼 상대적으로 저자원 언어에서는 성능 저하가 발생할 수밖에 없습니다.

또한 기존 모델에 새로운 언어 지식을 추가하는 과정에서는 기존에 학습된 정보가 사라지는 망각 현상(Catastrophic Forgetting) 이 발생할 수 있으며, 이는 프로젝트에서 반드시 극복해야 할 도전 과제였습니다.

무엇보다도 원본 Llama 모델이 가진 우수한 성능을 유지하면서도 한국어 이해와 생성 능력을 강화하는 데 중점을 두었습니다. 단순히 원본 모델에 한글 지식을 추가하는 수준을 넘어, 정교한 학습 전략과 최적화 기법을 통해 한국어 특화 성능을 안정적으로 확보할 수 있는 방법을 고민하였습니다.

아래 그림은 저희가 고안한 Llama K 학습 파이프라인의 전체 구성을 보여줍니다. 세부적인 설명은 뒤 이어서 자세히 소개 드리겠습니다.

2. Llama K CPT 전략: 망각 최소화와 한국어 지식 확장

Llama K는 기존 Llama 모델이 보유한 영어 능력과 범용 언어 지식을 유지하면서, 한국어 특화 지식을 효과적으로 확장하기 위해 Block Expansion 기반의 연속 사전학습(Continual Pre-training, CPT) 전략을 도입했습니다.

또한 영어와 한국어 데이터를 균형 있게 활용한 데이터 레시피 기반 접근 방식을 통해 학습 순서와 비율을 정교하게 조정함으로써 망각 현상(Catastrophic Forgetting) 을 효과적으로 완화했습니다. 전체 CPT는 약 180B 토큰 규모로 진행되었으며, 고품질 데이터 중심의 구성 전략을 적용했습니다.

데이터 구축 및 정제

• 한국어 데이터: 웹사이트, 뉴스, 도서 등 다양한 주제의 한국어 데이터를 다단계 정제 과정을 거쳐 수집했습니다. 텍스트 노이즈 제거, 중복 문장 필터링, 개인정보 익명화 등 다양한 전처리 기법을 적용했습니다.

• 영어 데이터: 기존 Llama의 영어 기반 지식 유지를 위해 FineWeb-Edu 등 고품질 공개 영어 말뭉치를 활용했습니다. 두 언어의 데이터 비율은 Post-training 단계의 타깃 능력까지 고려하여 구성했습니다.

모델 구조 및 학습

• Block Expansion: 기존 Llama 구조의 중간 레이어 이후에 새로운 레이어를 삽입하여 모델을 확장했습니다. 기존 파라미터의 가중치를 일부 보존하면서 새로운 정보에 대한 표현력을 강화했습니다.

• 3D Parallelism: Data Parallel, Tensor Parallel, Context Parallel을 결합한 학습 방법으로, 다중 GPU 및 노드 환경에서 학습 효율을 극대화했습니다.

• 최종 모델: Llama 70B PLM 모델에 4개의 레이어를 추가하여 총 74B 규모로 개발되었습니다.

3. Llama K Post-Training 전략: 실용적 지시 이행과 창의적 글쓰기 능력 강화

연속 사전학습(CPT) 이후, Supervised Fine-tuning(SFT)과 Preference Optimization을 통해 모델의 영어·한국어 지식 활용 능력 및 Instruction Following 능력등을 중점적으로 강화하였습니다.

지도학습(SFT) 데이터 구축

• 3.5B 토큰 규모의 지도 학습 데이터셋: 일반 대화, 언어/도메인 지식, 추론, 안전성, 에이전트 지식 등 다양한 유형의 데이터를 포함했습니다.

• 한국어 지시 이행 데이터: 최신 합성 데이터 생성 방법론을 적용하여 28만 개 규모의 한국어 지시문 데이터를 구축했습니다. 실제 산업 및 공공 문서 작성에 부합하는 지시문을 포함했습니다.

• 창의적 글쓰기 데이터: 영어 기반 창의적 글쓰기 지시문을 한국어로 번역 및 현지화하고, 품질 검증 및 재작성 과정을 통해 고품질 데이터셋을 확보했습니다.

3.1. 한국어 특화 합성 데이터 구축: 모델 활용성과 표현력 강화를 위한 접근

3.1.1. Instruction Following

Instruction Following은 사용자의 명령이나 요청을 모델이 정확히 이해하고, 그에 맞는 응답을 생성하는 능력을 의미합니다. 이는 언어 모델의 실사용성과 체감 성능에 직결되는 핵심 요소입니다.

Llama K는 한국어 환경에서의 지시 이행 성능을 강화하기 위해, 한국어 지시문에 특화된 합성 데이터셋을 구축했습니다. 데이터는 IFEval과 FollowBench의 구조 및 평가 기준을 참고하여 설계되었으며, 특히 FollowBench에서 제안하는 콘텐츠, 상황, 스타일, 형식, 예시의 다섯 가지 측면을 복합적으로 반영한 지시문을 포함하도록 구성했습니다.

데이터 구축에는 AutoIF와 Magpie 프레임워크를 활용하여 다양한 유형의 지시문을 생성하고, 정제된 기준에 따라 품질 관리를 수행했습니다. 그 결과, Instruction Following 성능 향상을 위한 약 28만 개 규모의 한국어 합성 지시문 데이터를 확보할 수 있었습니다.

또한 한국어 고유의 언어적 특성을 반영하기 위해 다음과 같은 요소를 포함하여 지시문을 설계했습니다:

• 띄어쓰기 및 맞춤법 준수

• 한자 병기, 영어 약어 병기, 한국어 준말 처리

• 날짜·시간·금액 등 실무 문서에서 요구되는 표기 규칙

특히 행정 문서 형식의 공공 지시문 데이터도 별도로 구축하여, 약 5,000개 규모의 고품질 데이터를 확보했습니다. 이 데이터는 GPT-4o를 활용해 초기 생성한 후, 사람이 직접 검토 및 정제하는 수작업 과정을 거쳐 최종 완성되었습니다.

데이터 검증은 지시문 유형에 따라 차별화된 방식으로 진행되었습니다:

• IFEval 기반 데이터는 해당 프레임워크의 제약 조건 태깅을 통해 평가

• FollowBench 계열 데이터는 GPT-4o 기반 LLM-as-a-Judge 방식으로 다각적인 평가 수행

3.1.2. Creative Writing

창의적 글쓰기(Creative Writing)는 다양한 표현력과 맥락 이해를 요구하는 고차원적 언어 생성 과업으로, LLM의 생성 능력을 정밀하게 학습하는 데 핵심적인 역할을 합니다.

하지만 공개된 양질의 한국어 창의적 글쓰기용 SFT 데이터셋의 확보가 쉽지 않았기 때문에 저희 팀은 공개된 영어 기반 창의적 글쓰기 데이터셋을 한국어 환경에 맞게 변환 및 현지화(Localization) 하는 방식으로 SFT 데이터셋을 구축했습니다.

1) Seed Instruction Curation

공개된 영어 지시문을 수집한 뒤, GPT-4o를 활용해 한국어로 번역했습니다. 이 과정에서 번역 누락, 부적절한 외국어 표현 등을 필터링하여 번역 품질을 확보했습니다.

2) Instruction Quality Control and Localization

• Instruction Type Classification: 번역된 지시문이 한국어 창의적 글쓰기에 적합한지를 판단하기 위해 다음 기준을 적용했습니다: (1) 문법적으로 부자연스럽거나 명령문 형식이 아닌 경우 (2) 한국어 사용자에게 비현실적으로 느껴질 수 있는 영어권 문화 기반 주제를 포함한 경우

  LLM을 활용해 분류 결과와 판단 근거를 함께 생성하도록 프롬프트를 설계했습니다.

• Instruction Rewriting:부적합한 지시문은 LLM을 활용해 재작성하였으며, 유형별로 설계된 프롬프트를 적용했습니다. 하나의 지시문이 여러 유형에 해당하는 경우에는 순차적으로 개선을 진행했습니다.

• Instruction Verification:재작성된 지시문에 대해 검색 기반 사실 검증을 수행하여, 사실과 일치하지 않는 내용을 포함한 항목은 제거했습니다.

3) Response Generation

최종적으로 확보된 고품질 한국어 지시문에 대해 LLM을 활용해 응답을 생성하였으며, 표현의 자연스러움, 지시문 충실도 등의 기준으로 내부 검토를 거쳐 품질 기준을 충족한 응답만 최종 데이터셋에 포함시켜 활용했습니다.

3.2 Preference Optimization: 사람이 선호하는 자연스러운 응답을 위한 정렬 전략

Llama K는 CPT와 SFT 이후, Direct Preference Optimization(DPO), Long Preference Optimization(LongPO), Group Relative Policy Optimization(GRPO)의 3단계 정렬 전략을 통해 모델의 응답 품질을 한층 강화했습니다. 이 과정은 모델이 사람이 선호하는 방식으로 응답을 생성할 수 있도록 돕는 핵심 학습 단계입니다.

Reward Modeling

사용자의 선호를 예측하는 보상 모델을 구축하여 GRPO 학습과 SFT 및 DPO 데이터 필터링에 활용했습니다.

• 백본 모델: Gemma-3-12B-Instruct

• 데이터: Instruction Following, 일반 대화 등 다양한 도메인에서 수집한 preference pair

• 평가 방식: GPT-4o와 코드 기반 평가를 병행하여 응답의 선호도를 정량화

• 정제 전략: 여러 보상 모델의 판단 일관성을 활용해 데이터 품질을 정제하고, 선형 결합을 통해 편향을 줄이며 예측 성능을 향상

최종 보상 모델은 한국어뿐 아니라 영어 벤치마크에서도 우수한 성능을 보이며, 다국어 환경에서 활용 가능한 범용 보상 모델로 검증되었습니다.

3.2.1 Direct Preference Optimization(DPO)에서의 데이터 구성 전략

DPO는 모델이 사용자 선호에 기반하여 더 나은 응답을 생성할 수 있도록 학습시키는 방식입니다. 성능 향상을 위해 데이터 품질과 구성 방식이 핵심입니다.

On-policy와 Off-policy 데이터 병행 활용

• On-policy 데이터: SFT 모델이 직접 생성한 응답

• Off-policy 데이터: 외부 모델 또는 공개된 preference 데이터셋에서 수집한 응답

두 유형을 혼합하여 학습함으로써 모델의 일반화 성능과 안정성을 동시에 확보했습니다.

On-policy 데이터 구축 방식

1. 각 프롬프트에 대해 SFT 모델이 4개의 응답을 생성

2. 보상 모델을 활용해 점수 부여

3. 점수 분산이 과도한 샘플 제거

4. 최고 점수 응답을 chosen, 최저 점수 응답을 rejected로 선정

5. 수학·코딩 등 정답이 명확한 과업은 틀린 응답에 −∞ 보상 부여하여 제외

Off-policy 데이터 정제 방식

• SFT 모델 응답의 보상 점수가 기존 chosen 응답보다 높을 경우 해당 샘플 제거

• 라벨 오류로 인한 학습 편향 최소화

데이터셋 품질 관리

• chosen과 rejected 간 보상 점수 차이가 지나치게 작거나 큰 샘플 제거

• 각 데이터셋 내에서 보상 점수가 높은 샘플을 우선 선택하여 비율 조정

3.2.2 Long Preference Optimization(LongPO): 장문 이해 능력 강화를 위한 전략

현대 LLM은 점점 더 긴 문맥을 처리할 수 있는 능력이 요구되고 있습니다. LongPO는 짧은 문맥에서 학습된 모델이 장문 문맥에서도 효과적으로 정보를 이해하고 응답할 수 있도록 설계된 학습 방식입니다.

문맥 확장을 위한 데이터 구축

• 도메인: 법률, 경제, 역사, 문학, 백과사전, 교육, 종교, 응용과학 등

• 확보 문서: 한국어 38,000개, 영어 44,000개

• 문서 길이: 최소 16K ~ 최대 128K 토큰

• 문서 분할·병합을 통해 다양한 문맥 길이 반영

Short-to-Long Preference 데이터셋 구성

1. 긴 문서에서 6K~8K 토큰 분량의 짧은 문맥 추출

2. 해당 문맥 기반 지시문 생성 (LLM 활용)

3. DPO 학습 완료된 Llama K 모델로 응답 생성

4. 짧은 문맥 응답을 chosen, 긴 문맥 응답을 rejected로 설정하여 학습

데이터 필터링 기준

• 외국어 사용 비율

• 중복 단어·문장 비율

• 글자 수

• 검열 문구 포함 여부

3.2.3 Group Relative Policy Optimization(GRPO): 안정적인 강화 학습을 위한 새로운 접근

GRPO(Group Relative Policy Optimization)는 최근 강화 학습 기반 언어 모델 학습 방식으로 주목 받고 있으며, 기존의 선호 기반 학습 방식(DPO, PPO)과는 차별화된 접근을 제공합니다.

GRPO란 무엇인가?

GRPO는 하나의 질문에 대해 여러 개의 응답을 생성하고, 이들 응답의 평균 이점(advantage)을 계산하여 학습에 반영하는 방식입니다.

• 선호 라벨(chosen/rejected)에 의존하지 않기 때문에 데이터 확보가 용이

• 평균 이점을 활용함으로써 학습 안정성이 높아지는 장점이 있음

Llama K에서의 GRPO 적용

Llama K는 GRPO를 다음의 5개 카테고리에 적용하여 학습을 진행했습니다:

• 수학 (Math)

• 코딩 (Coding)

• Instruction Following

• 한국적 지식 이해 (Korean Knowledge)

• Responsible AI

각 카테고리별로 질문과 함께 답변 평가를 위한 정보 페어를 구성했습니다. 예를 들어:

• 수학/한국 지식: 정답 정보

• 코딩: 테스트 케이스

• Instruction Following: IFEval 형식의 평가 기준

데이터 정제 및 학습 전략

• 전체 GRPO 학습 데이터에 대해 정답 기준의 Reward 계산 수행

• 사전 정의된 Reward function과 호환되는 데이터를 선별

• Llama K의 LongPO 모델을 활용해 추론을 진행한 후, 정답률이 50% 이하인 응답만 학습에 사용→ 모델이 상대적으로 어려워하는 문제에 집중하여 학습할 수 있도록 구성

3.2.4 Chat Vector: 간결하면서도 강력한 지시 이행 능력 강화 기법

Chat Vector는 기본(pretrained) 언어 모델과 채팅(chat) 모델 간의 가중치 차이를 벡터 형태로 정의한 것입니다. 이 벡터를 다른 모델에 적용함으로써, 별도의 추가 학습 없이도 해당 모델이 지시문을 더 잘 이해하고 응답할 수 있는 능력을 갖추게 됩니다.

즉, Chat Vector는 일종의 지시 이행 능력 전이 도구로 작동하며, 기존 채팅 모델이 갖고 있는 정렬 특성을 새로운 모델에 간편하게 부여할 수 있습니다.

본 과제에서는 Llama 계열의 70B Instruct 모델로부터 Chat Vector를 추출하고 이를 기반 모델에 적용하였습니다. 이를 통해 다음과 같은 효과를 얻을 수 있었습니다:

• 영어 지시 이행 능력 강화

• 유해성(harmfulness) 완화 기능 향상

특히, 기존 Llama 70B Instruct 모델 수준의 영어 성능을 유지하면서도, 한국어 성능 저하를 방지하기 위해 Chat Vector 적용 비율을 실험적으로 조정하였습니다. 그 결과, 한국어 표현력과 영어 지시 이행 능력 간의 균형을 효과적으로 확보할 수 있었습니다.

4. 성능 평가: 글로벌 경쟁력과 한국어 특화 능력 확인

Llama K 모델은 영어와 한국어 모두에서 균형 잡힌 성능을 검증하기 위해 정량 평가와 정성 평가를 병행하는 다각적 평가 수행하였습니다.

정량 평가는 글로벌 공개 벤치마크와 한국어 특화 벤치마크를 활용해 모델의 지시 이행, 추론, 수학, 전문 지식 등 다양한 능력을 자동으로 측정하였는데, 특히 Llama K는 Meta Llama 모델들과 GPT-4o 대비 영어 성능을 유지하면서도, 한국어 추론과 이해 영역에서는 가장 우수한 성능을 기록했습니다.

정성 평가는 실제 사용자 환경에서의 자연스러움, 문화적 적합성, 표현력 등을 전문가가 직접 평가하는 방식으로 진행되며, 생성, 질의응답, 분석, 수리 등 총 15개 세부 영역에 대해 평가가 이루어졌습니다. 평가 신뢰도 확보를 위해 다수의 평가자가 참여하고, 일치도 분석을 통해 결과의 정합성을 검증했습니다.

종합적으로 Llama K는 영어와 한국어 모두에서 경쟁력 있는 성능을 보이며, 특히 한국어 중심의 학습 전략이 효과적으로 작동했음을 보여주는 결과를 도출했습니다.

영어 벤치마크

• Llama K 모델은 한국어 중심 학습을 거쳤음에도 불구하고, 영어 기반 글로벌 벤치마크에서도 우수한 성능을 유지하며 범용 언어 모델로서의 경쟁력을 입증했습니다. Hugging Face Open LLM Leaderboard 기준의 주요 영어 벤치마크(v.1/v.2 지표)를 활용해 지시 이행, 추론, 수학, 전문 지식 등 4개 영역에서 성능을 평가했습니다.

📊 주요 성능 결과

• Llama K는 기존 Llama 모델 2종 대비 모든 영역에서 동등하거나 더 높은 성능을 기록.

• 특히 추론과 수학 영역에서 높은 성능을 확인.

• GPT-4o와 비교 시, IFEval, GPQA, MuSR, Winogrande, GSM8K 등에서 우위 성능을 보였고, 나머지 영역에서도 유사한 수준의 성능을 유지.

한국어 벤치마크

• Llama K 모델은 한국어의 언어적 특성과 사회·문화적 맥락을 반영한 다층적 평가 체계를 통해 한국어 특화 성능을 검증했습니다. 공개 벤치마크(KMMLU, KoBest), 번역형 벤치마크(Ko-IFEval, Ko-Winogrande), 그리고 KT가 독자적으로 구축한 고난도 평가셋(K-Pragmatics, K-Referential, Ko-Sovereign 등)을 활용하여 지시 이행, 이해, 추론, 실사용 적합성, 사회·문화 이해, 전문 지식 등 다양한 영역을 평가했습니다.

📊 주요 성능 비교 결과

• Llama K는 지시 이행, 한국어 추론 영역에서 비교 모델 중 가장 높은 성능을 기록.

• Llama-3.1-70B 대비 평균 8.2포인트 향상, 모든 평가 항목에서 우위 확보.

• Llama-3.3-70B와 대비 모든 평가 항목에서 우위 확보

• GPT-4o와 비교 시, 지시 이행도와 추론 영역에서 성능 우위를 보이며, 이해 및 전문 지식 영역에서도 경쟁력 있는 수준.