안녕하세요. KT AX 미래기술원 Agentic AI Lab, Agentic AI Tech 담당입니다.
저희 담당은 오픈 모델을 기반으로 Agentic 역량을 극대화한 Agent향 기본 모델을 개발하고, 이를 다양한 산업에 실질적으로 적용하기 위한 버티컬(Vertical) 모델을 연구·개발하고 있습니다. 현재까지 네트워크 특화 모델을 비롯해 의료, 법률, 금융 등 다각적인 산업 섹터(Sector)에 최적화된 도메인 특화 모델을 구축해 왔습니다.
최근 AI 트렌드가 범용 LLM 개발을 넘어 '실제 산업 현장에 가치를 더하는 에이전트(Agent)'로 진화함에 따라, 모델의 Agentic 역량 강화와 고도화된 도메인 지식 확장은 이제 필수 요건이 되었습니다. 이에 저희 A-Model 팀은 단순한 도메인 지식 확장을 넘어, 현장 문제를 스스로 해결할 수 있는 'Agentic 성능 향상'을 궁극적인 목표로 두고 버티컬 모델의 혁신을 주도하고 있습니다.
1. '네트워크 특화 모델' 개발 배경 및 필요성
통신 네트워크 운용 현장은 3GPP, IEEE, IETF 등의 글로벌 표준 규격을 비롯하여 제조사별 장비 매뉴얼, 실시간 시스로그(Syslog), CLI(Command Line Interface) 스크립트에 이르기까지 방대하고 고도화된 도메인 지식이 요구되는 영역입니다. 범용 거대 언어 모델(LLM)은 우수한 범용 언어 이해 능력을 보유하고 있으나, KT 고유의 장비 명령어와 폐쇄적인 네트워크 인프라 환경, 그리고 현장 실무 지침을 정확히 파악하지 못해 심각한 할루시네이션(Hallucination, 환각 현상)을 야기하는 한계가 있었습니다.
이러한 도메인 공백을 해소하고자, KT는 원천적인 네트워크 기술 지식을 심층 내재화하는 동시에, 현장 작업자의 자연어 작업계획서를 시스템 실행이 가능한 스크립트 형식으로 자동 변환하고 비정형 시스템 로그를 정형화된 데이터로 파싱(Parsing)할 수 있는 "Field-Ready(현장 즉시 투입형) 네트워크 특화 Agentic 모델" 개발에 착수하였습니다.
2. 학습 데이터셋 구축: 지식과 행동 역량의 유기적 결합
2.1. 기술적 배경 및 연구적 근거
최근 네트워크 관리(NetOps) 및 인프라 자동화 분야의 생성형 AI 연구에 따르면, 방대한 파라미터의 범용 LLM을 그대로 활용하는 것보다 지속적 사전학습(CPT), 미세조정(SFT), 강화학습(RL)을 통해 특정 도메인에 최적화된 소형언어모델(SLM)을 구축하는 것이 네트워크 관리 효율성 및 근본 원인 분석(RCA) 성능 향상에 훨씬 효과적임이 입증되었습니다.
- 5G 코어 장애 감지 최적화: 최신 연구(Arxiv-2512.19697)에서는 GPT-4.1 기반의 5G 코어 네트워크 장애 감지 모델을 통해 정확도를 기존 40%에서 93%까지 대폭 끌어올린 바 있습니다.
- 다단계 추론 기반의 RCA 역량: Arxiv-2507.21974 연구에서는 생각의 사슬(CoT, Chain of Thought)을 포함한 다단계 추론 특화 SFT 및 강화학습을 적용하여 무선 네트워크 장애 원인 분석(RCA) 정확도를 18%에서 95%로 극대화하며 SFT 데이터 구축 파이프라인의 표준을 제시했습니다.
- 에이전트 트러블슈팅 벤치마크 가치: 네트워크 에이전트 평가 프레임워크인 NIKA(Arxiv-2512.16381) 연구에 의하면, 실제 유선 네트워크 환경을 모사한 640개의 동적 장애 시나리오 테스트에서 상용 대형 모델(GPT-5: 55.3%, GPT-5-mini: 22.0%)조차 에이전트 트러블슈팅 역량에서 한계를 보였습니다. 오픈소스 진영의 20B 규모 모델(GPT-OSS-20B)은 5.5%의 저조한 성능에 그쳤습니다.
이러한 선행 연구를 바탕으로, 본 프로젝트에서는 고효율의 Gemma-4-A4B MoE(Mixture of Experts) 구조를 베이스 모델로 채택하였으며, 대규모 CPT와 Post-Training 과정을 거쳐 도메인 지식 확장과 현장에서의 사용성을 확보했습니다.
2.2. 데이터 구축
모델의 최종 완성도와 현장 적용 역량을 좌우하는 핵심 요인은 데이터의 양적 규모와 질적 정제 수준이었습니다. 본 프로젝트에서는 총 94.7B(947억) 토큰 규모의 네트워크 도메인 특화 데이터셋을 구축했습니다.
원천 데이터는 표준 규격서 및 학술 논문 등 공개 지식베이스와 더불어, 사내 보안 문서인 KT 제조사별 장비 매뉴얼 및 네트워크 운용 구성(Configuration) 파일을 유관 부서로부터 전수 확보하여 반영했습니다. 특히 현장 실무와의 정렬(Alignment)을 위해 실제 운영 데이터를 정제하여 학습시켰으며, 보안 데이터가 많았기 때문에 비식별화 과정 및 데이터 오염 방지/신뢰도 검증 파이프라인을 구축하여 최고 수준의 데이터 품질을 확보하는 것에 많은 개발 시간을 투자하였습니다.
2.3. 세부 데이터셋 구성
1) 네트워크 도메인 지식 데이터 (8.6B 토큰)
도메인 지식 확장을 위한 CPT 데이터셋입니다. 공개된 표준 문서에서부터 공개되지 않은 KT 자체 네트워크 문서들을 활용하여 언어 모델의 네트워크 관련 지식을 확장하고 강화하기 위한 데이터를 구축하였습니다.
공개 데이터셋: 3GPP, IEEE, IETF 등 글로벌 기술 표준 문서, 관련 학술 논문 및 오픈 위키(Wiki)
비공개 데이터셋: KT 내부 제조사별 네트워크 장비 매뉴얼 디지털 자산 전수 수집
문서 파싱(Parsing) 후 목차 정보를 기반으로 의미 단위의 Dynamic Length Chunking 수행
텍스트 내 불필요한 머릿말/꼬릿말 요소를 노이즈로 규정하여 전량 제거
Chunk별로 해당 장비의 메타정보(Vendor, 장비 타입, 모델명, OS 버전 등)를 태깅 및 구조화하여 모델의 맥락 이해도 극대화
2) Agentic 역량 데이터 (86B 토큰)
단순 Q&A 형태의 질의응답을 넘어 현장 문제를 자율적으로 해결하는 '행동형 에이전트(Agentic AI)' 기술 구현을 위해 총 3개 차원의 연계 데이터를 학습시켰습니다.
- Reasoning (추론): 복잡하고 변수가 많은 네트워크 장애 조건에서 다단계 문제 해결 프로세스를 스스로 수립(Planning)하고, 실행 후 결과 피드백을 기반으로 오류를 인지 및 자가 수정하는 멀티 스텝 추론 궤적(Trajectory) 데이터.
- Acting (실행): 네트워크 관리 API 및 툴 호출, CLI 터미널 및 가상 코드 환경 제어 명령어, 대용량 정황 로그 분석을 위한 도구 사용(Tool Use) 데이터.
- Inter-Acting (상호작용): 외부 인프라 및 환경 변화에 동적으로 대응하고, 이기종 시스템, 타 에이전트, 혹은 인간 운영자(Human-in-the-loop)와 실시간으로 정보를 교환하며 협업·조율하는 프로토콜 데이터.
3) 현장 실무 특화 데이터 (100M Token)
현장 작업자의 실제 워크플로우를 직접적으로 모델링하여 서빙 정확도를 실전 수준으로 가공한 데이터셋입니다.
[Task A] 자연어 작업계획서 기반 유선 CLI 스크립트 자동 생성
실제 네트워크 운용 현장에서 수집한 2.5K건의 작업계획서를 기반으로 하되, 보안 및 성능 최적화를 위해 아래와 같은 엄격한 전처리 파이프라인을 적용했습니다.
- 포맷 변환 및 파싱: 비정형 문서 양식을 학습 가능한 텍스트 및 구조화 데이터로 정형 파싱
- 하이브리드 비식별화: 내부 보안 규정 준수를 위해 LLM 알고리즘과 룰 기반(Rule-based) 마스킹 기술을 교차 적용하여 핵심 정보 비식별화 처리
비식별 대상 정보: IP 주소 및 IP명, 포트 번호 및 포트명, 장비명 및 토폴로지 연결 정보, 작업자 인적사항(성명, 소속, 연락처), 고객 정보(고객명, 연락처, 회선 번호)
- 장비 속성 매핑 (Pair Mapping): 문서 내에서 유추된 장비명을 추출한 뒤, 해당 장비의 상세 기종 정보(Vendor, Model, OS 등)를 1:1로 매핑하여 고유 속성 정합성 유지
- 정밀 작업계획서(Well-formed) 고도화 및 추론 궤적 구축: 현장 작업계획서 특성상 정보가 누락되거나 불충분한 경우가 많아, 구동 정확도 100%로 검증된 실제 내부 시스템 스크립트를 역추적 기준으로 삼았습니다. 스크립트 원본과 기본 작업계획서를 프롬프트로 입력한 뒤 타 고성능 LLM을 활용해 세부 실행 맥락이 완벽히 보완된 'Well-formed 작업계획서'를 역생성(Reverse Generation)
- Reasoning 데이터 구축: 에이전트가 논리적 단계를 밟아갈 수 있도록 추론 궤적(Reasoning Trajectory) 데이터를 함께 구축
[Task B] 비정형 시스템 로그(Syslog)의 정형 포맷 변환
복잡하게 출력되는 비정형 시스로그를 운영자가 즉시 판독할 수 있도록 JSON 및 테이블 형태의 정형 구조로 매핑하는 데이터셋입니다. 원천 로그 문장과 타겟 출력 포맷을 쌍(Pair)으로 구성하여 학습을 진행했으며, 로그 데이터는 아래의 핵심 속성 항목들을 명확히 정렬하여 관리되도록 구성했습니다.
[시스템명] 장애 발생 장비 및 호스트 정보
[발생시각] 표준 타임스탬프 형식 (예: 2025-07-10 00:18:14)
[현상] 경보 직관적 분류 (예: 인터페이스 DOWN)
[자국] 물리적/논리적 타겟 위치 (예: Ethernet1/17)
[장애 설명] 상세 에러 메시지 서술
[조치 사항] 표준 조치 가이드 및 권고안 (예: 이중화 절체 확인, SFP/선로 불량 확인 권고)
3. 학습 전략 및 최적화 프로세스
3.1. 단계별 학습 아키텍처 및 파이프라인
본 프로젝트는 오픈소스 사전학습 모델(PLM)을 기반으로, 단계별 도메인 주입 및 정렬(Alignment) 과정을 거쳐 최종 현장 특화 모델로 진화시키는 파이프라인을 구축했습니다.
[ 모델 학습 고도화 파이프라인 ]
1단계: 오픈 PLM 기반 Agentic 데이터 학습 ➔ Agentic 파운데이션 모델 구축 (CPT ver1.0)
오픈 PLM 모델을 베이스로 86B 토큰 규모의 Agentic 데이터를 우선 학습시켜, 자율적 추론 및 도구 활용 역량이 극대화된 기본 모델을 개발했습니다.
2단계: 네트워크 도메인 필수 보안 데이터 주입 ➔ Network 파운데이션 모델 구축(CPT ver2.0, CPT-Network)
에이전트 역량이 확보된 기본 모델을 바탕으로, 네트워크 도메인의 핵심 보안 지식 데이터를 집중 주입하여 2차 Continual Pre-Training을 수행했습니다.
3단계: 도메인 벤치마크 훈련 세트(Training Set) 정렬 ➔ 도메인 기초 성능 확보(SFT ver1.0)
기 구축한 도메인 벤치마크의 훈련 세트(Training Set)를 활용해 모델을 정렬함으로써, 네트워크 이론 및 데이터 구조에 대한 기초 평가 성능을 선제적으로 끌어올렸습니다.
4단계: 실무 Task(스크립트 생성, 시스로그 분석) 최적화 ➔ SFT 및 강화학습(RL) 수행(SFT ver3.0)
유선 작업계획서 기반의 스크립트 생성 Task와 시스로그 분석 Task의 정밀도를 극대화하기 위해 지도 미세조정(SFT) 및 강화학습(Reinforcement Learning)을 연계 적용했습니다.
3.2. SFT 데이터 포맷 고도화: 생성물 기반 CoT 도입
현장 실무 데이터 학습 과정에서 단순 질의응답 형태의 포맷으로 성능 향상에 한계가 있음을 확인하고, 모델의 다단계 추론 성능을 자극하기 위한 데이터 구조 고도화를 단행했습니다.
- 포맷 전환: 기존의 단순 <Question> - <Answer> 구조에서, 논리적 추론 단계를 명시하는 <Question> - <Reasoning> - <Answer> 구조로 데이터 포맷을 개편했습니다.
- 자가 생성 기반 CoT(Self-Generated CoT) 적용: 모델 내부에서 도출된 추론 데이터(Trajectory) 중 정답에 도달한 간결한 단계별 생각의 사슬(Step-by-step Chain of Thought)을 추출하여 이를 <Reasoning> 영역에 역으로 추가 학습시켰습니다. 이러한 자가 생성물 기반의 정제 데이터 학습 기법을 적용한 결과, 모델의 문제 해결 정합성과 성능 개선 폭이 상향되었습니다.
3.3. MoE(Mixture of Experts) 아키텍처 최적화
본 프로젝트에 사용된 베이스 모델은 MoE 구조를 취하고 있어, 기존 Dense 모델과는 차별화된 학습 최적화 접근이 필요했습니다.
- 라우팅 밸런싱(Routing Balancing): MoE 아키텍처의 고효율성을 유지하기 위해, 학습 진행 시 게이팅 네트워크(Router)가 특정 하위 전문가(Expert)에만 편중되지 않고 각 전문가에게 토큰을 균등하게 분배·라우팅하는지 검증했습니다.
- 하이퍼파라미터 튜닝:Experts 부하 분산과 관련된 라우팅 손실 가중치(Routing Loss Weight) 등 핵심 하이퍼파라미터 조정 테스트를 반복 수행했습니다. 이를 통해 토큰 분배의 최적 균형점을 포착하였고, 결과적으로 하드웨어 연산 효율성을 극대화하는 동시에 모델의 전반적인 도메인 학습 성능을 크게 개선했습니다.
3.4. 실무 Task(스크립트 생성, 시스로그 분석) 최적화
본 프로젝트에서 네트워크 특화 모델의 핵심 Task 중 하나는, 자연어로 작성 된 작업자의 작업 계획서를 가지고 시스템 장비에서 구동 될 수 있도록 서로 다른 장비 별 CLI 명령어 스크립트를 생성하는 것입니다.
이에 작업 계획서를 모델의 입력값으로 넣고, CLI 스크립트를 생성하게 하였을 때, GPT 5.4 기준 36.4점(100점 만점)이 나왔습니다. 작업 계획서 자체가 정보가 부족하였기에, 시스템에서 출력한 스크립트(구동 정확도 100%)를 역으로 활용하여 부족한 정보를 추가하여 보완 작업 계획서를 만들고, 보완 작업계획서와 스크립트를 학습하였습니다.
뿐만 아니라, 각 장비별 특징 데이터를 구축하여, 모델이 해당 장비의 스크립트를 생성할 때 참조 할 수 있도록 하였습니다.
4. 검증 기준 설계 및 단계별 정량 평가
4.1. 네트워크 특화 벤치마크 7종 및 자체 평가셋 설계
본 프로젝트에서 개발한 모델의 객관적인 성능 검증을 위해, 기존 범용 LLM 평가 프레임워크를 배제하고 네트워크 도메인에 특화된 7개 분야의 오픈 벤치마크 가공 데이터셋과 현장 실무 기반의 자체 제작 평가셋 2종을 도입했습니다.
GSMA open benchmark인 TeleQnA는 통신 도메인 지식/표준용어 등을 객관적으로 평가를 하며, TeleQnA은 네트워크 트러블 슈팅 상황에서 원인을 분석 능력을 평가합니다. TeleMath는 통신 공학 관련 수학 문제를 풀어 정확한 답을 도출하는지를 평가 합니다. 3GPP_TSG는 3GPP문서의 한 파트를 발췌하여 그 파트의 이해추론 능력을 평가합니다. TeleYAML은 LLM judge로 자연어 의도를 받아 표준/스키마에 맞는 YAML스크립트를 생성하는지를 평가하고, 마지막으로 Neteval은 네트워크 운영 및 도메인 이해 추론 능력을 평가합니다.
NIKA 벤치마크는 최근 Telco 및 네트워크 AI 분야에서 가장 주목받고 있는 네트워크 자율 운영 및 자동 장애 조치(Autonomous Network Operation & RCA) 역량을 평가하기 위한 최신 벤치마크 프레임워크입니다. 동적 환경 에뮬레이션으로 백엔드에서 데이터 센서, ISP, 인터넷 망 등 다양한 규모의 가상 네트워크 토폴로지를 생성하고, LLM 에이전트가 동적으로 변하는 네트워크 텔레메트리(Telemetry), 시스템 로그(Syslog), 라우팅 테이블 등을 관찰하며, 스스로 가설을 세우고, 올바른 진단 도구/API를 호출하여 장애 원인을 분석합니다. 장애 주입 및 시나리오는 총 54가지 대표적인 네트워크 이슈를 포함하지만, 토폴로지 크기를 다르게 확장 가능하여 복잡한 네트워크 환경을 테스트 할 수 있습니다. 주요 장애 시나리오로는 물리적 링크 관련하여 링크 단선(Link Failure), 호스트 다운(Host Down) 장애가 있고, 프로토콜/소프트웨어 관련하여 BGP/OSPF 라우팅 미스매치, 루프 발생, 잘못된 YAML 설정 등이 있습니다. 네트워크 자원 관련하여서는 트래픽 폭주로 인한 패킷 드랍, 리소스 고갈(contention) 장애가 있습니다.
이 벤치마크는 LLM 기반 에이전트가 네트워크에 접속하여 정보를 얻을 수 있도록 표준화된 API(MCP, Model Context Protocol) 및 Acting 툴 사용이 가능합니다.
- get_topology(): 현재 네트워크 연결 구조 파악을 위해 사용
- query_syslog(): 장비들의 시스템 로그 검색에 사용
- check_routing_tagle(): 라우터의 경로 설정에 사용
툴/API를 통해 수집된 정보를 가지고 장애 존재 여부, 장애 위치, 장애 원인등을 모델을 활용하여 분석합니다. 네트워크 특화 모델의 경우, MCP(Model Context Protocol) 표준 인터페이스를 적용하여 에이전트가 네트워크 관제 툴을 스스로 사용하고(Acting), 장애 원인을 논리적으로 추론하며(Reasoning), 타 시스템과 동기화(Inter-acting)하여 복잡한 장애의 근본 원인(Root Cause)을 정확히 짚어내는 역량을 확보했습니다. 학습 이후, 오픈소스 기본 모델(Gemma-4-A4B) 대비 47%의 성능 향상을 확인 할 수 있었습니다.
|
분류
|
벤치마크명
|
건수
|
주요 측정 내용
|
|
오픈 벤치마크 (7종)
|
TeleQnA
|
1,000건
|
네트워크 기본 지식 및 이론
|
|
TeleLogs
|
100건
|
네트워크 로그 패턴 인식 및 분류
|
|
TeleMath
|
100건
|
통신 이론 계산 및 네트워크 수학
|
|
3GPP_TSG
|
100건
|
이동통신 표준 기술 사양 이해도
|
|
TeleYAML
|
101건
|
네트워크 설정 파일(YAML) 생성 및 검증
|
|
NetEval
|
374건
|
전반적인 네트워크 운용 역량 평가
|
|
NIKA
|
54건
|
네트워크 인프라 지식 및 아키텍처
|
|
자체 제작 벤치 (2종)
|
Syslog_Eval
|
100건
|
KT 실제 Syslog 분석 및 정형화 정확도
|
|
유선 스크립트
|
100건
|
자연어 작업계획서 기반 CLI 명령어 변환율
|
[표 4-1] 네트워크 특화 벤치마크 및 자체 평가셋 세부 명세
4.2. 포스트 트레이닝(Post-Training)을 통한 점진적 성능 향상
기본 모델인 Gemma-4-A4B MoE 아키텍처를 기반으로 지속적 사전학습(CPT)을 완료한 후, 지도 미세조정(SFT) 및 강화학습(RL)을 유기적으로 연계한 포스트 트레이닝을 전개했습니다.
학습 과정에서 MoE 구조 특유의 전문가(Experts) 불균형 학습 리스크 및 특정 하이퍼파라미터 세팅에서 발견된 문장 반복(Repetition) 이슈를 자가 생성 기반 CoT(Self-Generated CoT) 적용을 통해 해결하며 모델의 안정성을 확보했습니다. 특히 SFT 단계를 전략적으로 다각화하여 오픈 벤치마크에서 기본 모델 대비 + 24.4%의 성능 향상을 달성했습니다.
뿐만 아니라, NIKA 벤치마크에서도 기본 모델 대비 +47%의 성능 향상을 보였습니다.
마지막으로 스크립트 생성 평가에서는 보완된 작업 계획서 만으로도 SOTA 모델(GPT-5.4) 수준을 넘어섰고, 향후 가이드 기반 가중치 학습으로 더 많은 성능 개선을 기대하고 있습니다.
[그림 1. 네트워크 정량평가 결과]
[그림 2. 네트워크 LLM Judge 기반 평가 결과]
[그림 3. 네트워크 모델 기반 장애 분석 Agent 평가 결과]
5. 핵심 기능 평가 및 인사이트
1) 오픈 벤치마크 성능 평가 (성능 +24.4% 향상)
"GPT 5.4 보다 우위의 네트워크 벤치마크 성능 확인”
앞서 설명한 오픈 벤치마크에서 Gemma-4-A4B 모델 기반 Continual Pre-Training 과 Post-Training 을 통해 SOTA 모델(GPT 5.4) 뿐 아니라 base 모델(Gemma-4-A4B) 대비 성능향상을 보였습니다. Dense 구조 모델 대비 MoE 구조 모델이 라우터와 experts를 포함하여 더 복잡하고 세심한 학습 방법을 요하였고, 기본모델의 chat-vector를 적용함으로써 기존 모델이 가지고 있던 우수한 성능을 유지 할 수 있었습니다.
2) 스크립트 변환 평가 (성능 +24% 향상)
"작업 계획서(자연어) ➔ 장비별 CLI 스크립트 자동 변환"
이 작업은 최고 성능의 상용 모델(GPT 5.4 수준)조차 초기에는 36.4점에 머무를 만큼 난이도가 높았습니다. Gemma-4-A4B IT 모델 역시, 작업 의도는 파악하나, KT에서 사용하는 장비의 명령어와 작업 범위를 제대로 반영하지 못하는 반면, 네트워크 특화 모델 역시 초기에는 KT 네트워크 지식 확장으로 장비 명령어와 작업 범위를 기본 모델 대비 잘 반영하나, 작업 계획서의 불충분한 정보로 인해 할루시네이션 편차가 심했었습니다. 이에 작업계획서를 보안하여, 상용 모델을 뛰어넘는 성과를 거두었습니다.
- 1단계 (데이터 보완): 현장 작업 계획서의 누락된 필수 정보를 보완하는 프로세스로, GPT 5.4와 동등한 성능을 확보하였
- 2단계 (가이드 기반 가중치 학습): 모델 학습 시 공정별 작업 세분화와 작업 계획서와 스크립트의 간소화(line-by-line matching), 그리고 마지막으로 장비별 정보 가이드를 입력하여 스크립트 생성 정확도를 극대화하려고 합니다. 현재 테스트셋에서 유의미한 성능 개선의 여지가 보이고, 최종 목표는 10월 네트워크 특화 모델 ver2.0에서 작업 계획서의 스크립트 변환 task를 집중 개선하고, 네트워크 부문 PoC에 적용 예정입니다.
3) 에이전트(Agent) 역량 평가(성능 +47% 향상)
"MCP 인터페이스 기반 장애 위치 및 원인 분석"
네트워크 특화 모델의 경우, MCP(Model Context Protocol) 표준 인터페이스를 적용하여 에이전트가 네트워크 장애 위치 및 장애 원인을 분석하는 역량을 향상하였습니다. CPT 학습 이후, 오픈소스 기본 모델(Gemma-4-A4B IT) 대비 +8.5%의 성능 향상을 기록하였고, 이후, 최종적으로 기본 모델 대비 +47%의 성능 개선을 하였습니다.
6. 결론 및 향후 과제
본 프로젝트를 통해 개발된 KT 네트워크 특화 모델은 기본 모델(Gemma-4-A4B-IT) 대비 네트워크 도메인 지식의 심층 확장을 이루어 냈으며, 네트워크 오픈 벤치마크 전반에서 뚜렷한 성능 우위를 증명했습니다. 특히 사용자의 의도는 파악하지만 KT 고유의 장비 명령어 체계 및 세부 작업 범위를 반영하지 못했던 기존 범용 모델의 치명적인 한계를 극복하고, 현장 맞춤형 자율 조치를 실현할 수 있는 명확한 기술적 해법을 제시했습니다.
비정형 현장 작업계획서의 정보 불충분성으로 인해 초기 테스트 단계에서 할루시네이션 (Hallucination) 편차가 관찰되기도 했으나, '가이드라인 기반 공정 세분화 학습'을 적용함으로써 상용 최고 수준의 모델과 대등하거나 이를 상회하는 실전 성능을 확보할 수 있었습니다. 하반기 주요 과제로 유선 스크립트 생성 성능의 미비점을 집중 보완하고 모델을 한층 더 고도화하여, 현장 적용성을 완벽히 확보할 계획입니다.
또한, MoE(Mixture of Experts) 아키텍처 모델을 지속 학습(Continual Learning)시키는 과정에서 특정 도메인에 특화된 모델을 최적화하는 독자적인 엔지니어링 방법론을 확보하였으며, 실제 네트워크 산업 생태계에 즉각 탑재 가능한 고효율 SLM(소형언어모델) 개발의 모범 사례를 제시했습니다.
향후 본 모델은 고도화된 Agentic 역량을 실제 네트워크 운용 인프라에 본격 이식할 계획입니다. 현재 네트워크 부문, 미래네트워크 Lab과의 유기적인 협업을 통해, 실무 현장에서 강력한 효용성을 발휘할 수 있는 실효성 높은 Use Case를 발굴·정의하고 있으며, 특히 미래네트워크Lab과의 고도화된 기술 공조를 통해 모델 성능 극대화의 핵심인 RAG(검색 증강 생성) 아키텍처 개발과 핵심 데이터 파이프라인 공유를 주도적으로 성취해 가고 있습니다.
이처럼 모델의 고도화 방향성에 대해 깊이 있는 인사이트를 공유하며 프로젝트의 완성도를 견인해 주신 네트워크 AI 연구 담당, NFM 최적화 TF 구성원분들께 깊은 감사의 말씀을 전합니다. 부서 간의 긴밀한 소통과 헌신적인 협업이 있었기에 AX기반 네트워크 특화 모델 개발이라는 값진 결실을 맺을 수 있었습니다. 저희 팀은 이에 안주하지 않고, 오는 11월 SCFA(Strategic Cooperation Framework Agreement)에서 글로벌 무대에 선보일 최고 수준의 고도화 모델 발표를 목표로 전력을 다하겠습니다.