금융·보안 영역은 전문 용어가 많고 최신 법령/가이드가 빠르게 바뀌는 만큼, 생성형 AI가 정확성과 신뢰성을 확보하기 까다로운 분야입니다. 특히 일반 LLM은 도메인 특수성과 최신 규정 정보를 충분히 반영하지 못해 환각(Hallucination) 문제가 발생하기 쉬운데요.
이번 글에서는 2025 금융 AI Challenge에서 최우수상의 성과를 거둔 팀 ‘뛰어’의 이야기를 담았습니다. 뛰어 팀은 KT 믿:음 K 2.0 Base 모델을 기반으로, 정교한 RAG + Self-Consistency(다중 추론 합의)를 결합한 이중 검증 파이프라인을 설계해 Train-free(파인튜닝 없이) 환경에서도 높은 도메인 적응력과 성능을 달성했습니다.
(* 2025 금융 AI Challenge: 금융위원회와 금융보안원이 공동 주최한 국내 최대 규모의 AI 금융 경진대회로, 2025년 7~8월 참가 접수를 거쳐 951개 팀, 1,249명이 참여해 치열한 경쟁을 펼쳤습니다.)
먼저 간단히 팀 소개와 참여하게 된 계기는 무엇인가요?
저희 팀은 이전 SW중심대학 AI 경진대회에서 경쟁자로 만났던 인연이 이어져 이번 대회에서 다시 모였습니다. 각자 강점을 합쳐 우승을 목표로 팀을 구성하게 됐습니다.
금융 분야나 보안 영역은 전문 인력이 부족한데도 보안 위협은 갈수록 지능화되고 있어, 정확하고 신뢰할 수 있는 대응이 더 중요해지고 있습니다. 하지만 기존 생성형 AI는 금융/보안 도메인의 특수성과 최신 법령 정보를 충분히 반영하지 못해 환각이 발생하기 쉽다는 점에 주목했습니다. 그래서 현장에서 신뢰할 수 있는 금융·보안 특화 생성형 AI 시스템을 직접 만들어보고자 챌린지에 참여했습니다.
이번 대회에서 만든 프로젝트를 소개해 주세요.
금융 및 보안 관련 질문은 전문 용어가 많고 유사 표현이 자주 등장해, 일반 LLM만으로는 정확한 답변이 어렵습니다. 저희는 금융보안원 FSKU(평가셋) 평가지표를 기반으로, 금융·보안 도메인의 사실 정보 정확성을 높이면서 환각을 최소화하는 시스템 구축을 목표로 했습니다. 핵심은 KT 믿:음 K 2.0 Base 모델 기반의 ‘이중 검증 파이프라인’입니다.
1) 정교한 RAG 구축(정확한 근거 확보)
- 법령, ISMS-P 안내서, 보안 관련 영문 데이터셋 등 원천 데이터를 폭넓게 수집해 Vector DB를 다양하게 구성
- 다국어 임베딩(gte-multilingual) + Reranker(bge-reranker-v2-m3) 적용
- 검색 결과에서 Top-1 Chunk를 엄선해 근거 품질을 끌어올리고 답변 정확성을 확보
2) Self-Consistency(다중 추론 합의로 ‘정답 안정화’)
- 동일 질문에 대해 5번 추론
- 객관식: 다수결로 최종 선택
- 주관식: Hybrid Scoring(키워드 합의 + IDF 가중치)로 최적 답안 선정
그 결과 별도의 파인튜닝 없이(Train-free)도 높은 도메인 적응력을 보여주었고, Public 리더보드 3위 → Private 리더보드 1위, 그리고 2차 검증평가 리더보드 1위라는 성과를 달성했습니다.
대학생 개발자 입장에서, 대회를 경험해본 소감이 궁금해요.
상혁 : 개발 기간은 1개월이었지만, 전 과정을 포함하면 약 2~3개월의 장기 레이스였습니다. 팀원들과 치열하게 고민하며 성장할 수 있었어요. 초반에는 파인튜닝을 시도했지만 자원 한계와 환각 문제에 부딪혔고, 이를 RAG·프롬프트 엔지니어링·후처리 알고리즘 고도화로 극복했습니다. 이 과정에서 모델 선택과 양질의 데이터 구축이 성능에 미치는 영향을 깊이 체감했습니다.
승민 : 기존에는 이미지나 텍스트 모델을 직접 학습시켜 성능을 올리는 방식에 익숙했는데, 이번에는 LLM + RAG로 특정 도메인 문제를 푸는 접근이 필요했습니다. LLM에서 “무조건 학습”보다 “적절한 정보를 찾아주는 RAG 시스템”이 더 중요할 수 있다는 걸 깨달았고, 힘들었지만 크게 성장한 경험이었습니다.
믿:음 K를 선택한 가장 큰 이유는 무엇인가요?
희진 : 한국어 이해 성능 리더보드(Horagni, Dontitia)에서 믿:음 K의 zero-shot 성능이 우수하다는 점을 확인했고, 대회 데이터에서도 비교 평가를 진행했습니다. 그 결과 다른 한국어 LLM뿐 아니라 LLaMA3, Qwen3와 같은 글로벌 오픈소스 모델보다도 높은 점수를 기록해 베이스 모델로 선정했습니다.
상혁 : 가장 큰 이유는 한국어 특화 전문지식 추론 능력입니다. 특히 역사/법/정치/경제/금융 등 전문지식을 요구하는 고난도 평가(K-Refre-Hard)에서 압도적 SOTA급(State Of The Art) 을 확인했습니다. 모델 크기에 비해, 규칙 내에서 사용할 수 있는 가장 뛰어난 모델로 판단했고, 한국어 고유 문장 구조를 효율적으로 처리하는 토크나이저 덕분에 복잡한 법률 용어와 미묘한 뉘앙스 이해가 글로벌 모델 대비 탁월하다고 판단했습니다.
개발 과정에서 모델의 어떤 특성이 가장 강점으로 느껴졌나요?
의진 : 무엇보다 프롬프트 이해력, 그리고 한·영 문서 전반에 대한 해석 안정성이 인상적이었습니다. RAG 설계 과정에서 영어 데이터까지 섞어 프롬프트를 구성했는데도 출력이 흔들림 없이 안정적이어서 “정말 믿고 쓸 수 있는 모델”이라는 느낌이었습니다.
상혁 : Instruction-Following 능력과 Reasoning 능력입니다. 이번 과제는 객관식에서 정확한 번호를, 주관식에서는 핵심 키워드를 포함한 서술형 문장을 요구하는 등 출력 규격이 까다로웠습니다. 믿:음 K 모델은 복잡한 지시사항을 정확히 이해하고 따르는 능력이 뛰어났고, thinking을 사용하지 않고도 한국어 질문에서 높은 정확도를 보여줬습니다.
이번 대회에서 잊을 수 없는 개발 에피소드가 있을까요?
희진 : RAG 데이터를 찾는 과정에서 한계에 부딪혔던 때가 가장 힘들었습니다. 과제에 맞는 정확한 데이터가 필요한데, 대회 규칙상 데이터 수집에 제약이 있어 쉽지 않았어요. 그래도 포기하지 않고 서칭과 실험을 반복했고, 대회 후반부에는 task-fit 데이터셋을 찾아내며 성능 향상이 눈에 보이기 시작해 큰 보람을 느꼈습니다.
의진 : 마지막 순간까지 막혀 있던 주관식 평가 점수를 해결하기 위해 “키워드 기반 답안 생성” 방식을 추가해 프롬프트를 구성했는데, 점수가 크게 상승했습니다. 특히 믿:음 K가 핵심 키워드를 정확히 추출하고 흔들림 없이 보존해준 덕분에 가능했던 성과라고 생각합니다.
믿:음 K 기반으로 ‘다음에 해보고 싶은 프로젝트/확장 아이디어’가 있나요?
희진 : 금융 데이터를 기반으로 RAG 시스템을 구축하면서 실제 업무에도 충분히 활용 가능하다고 느꼈습니다. 다음 단계로는 금융 도메인 업무 보조 AI 에이전트로 확장해보고 싶어요. 규정 검색, 문서 해석, 업무 절차 안내처럼 반복 작업을 에이전트가 자동 처리하면 금융권 업무 효율성과 정확성이 함께 개선될 것이라 생각합니다.
승민 : 멀티모달로 확장해보고 싶습니다. VLM(Vision-Language Model) 구조에서 텍스트 인코더로 믿:음 K를 활용해, 한국어 뉘앙스를 잘 반영하는 ‘한국형 VQA’ 시스템(도로 표지판/문서/문화적 맥락 이미지 질의응답)을 만들면 독보적인 성능을 낼 수 있다고 봅니다.
실제 산업 현장(B2B, B2G)에 도입된다면 가장 큰 변화는 무엇일까요?
승민 : 가장 큰 변화는 유연한 확장성과 도입 비용 절감입니다. 구축한 RAG/프롬프트 시스템은 구조를 유지한 채 참조 문서만 교체하면 됩니다. 즉 금융뿐 아니라 법률/행정 등 어떤 도메인에도 추가 학습 없이 빠르게 특화 LLM 서비스를 제공할 수 있어, 산업 현장의 생산성과 도입 속도를 크게 높일 수 있습니다.
의진 : 저희 솔루션은 금융보안 특화 QA 시스템으로, 지식을 왜곡하지 않고 신뢰성 있게 전달하는 데 초점을 맞췄습니다. 산업 현장에서 금융보안 관련 문서·지식을 배포하거나 참고해야 할 때 큰 도움을 줄 수 있고, 결과적으로 금융보안 도메인 지식의 접근성을 높이는 역할을 할 것이라 생각합니다.
마지막으로, KT에 한마디 남긴다면?
승민 : 믿:음 K처럼 한국어 데이터를 기반으로 한 SOTA급(State Of The Art) 모델을 지속적으로 개발해 주셨으면 합니다. 한국어 기반 LLM이 필요할 때 다른 모델과 비교할 필요가 없는, 압도적인 성능의 모델을 계속 만들어주세요.
희진 : 이번 대회를 통해 믿:음 K 모델의 가능성을 확인했고, 국내 AI 발전에 충분히 기여할 수 있는 모델이라고 느꼈습니다. 앞으로도 다양한 분야에 적용할 수 있는 뛰어난 한국어 기반 AI 모델들을 계속 선보여주시길 기대합니다!
