한국특화 멀티모달 안전성 벤치마크 구축기 : KSAFE-MM을 만들기까지

안녕하세요, KT Frontier AI Lab에서 RAI(Responsible AI) Risk 식별 및 평가체계 수립을 담당하고 있는 윤정원, 박윤진입니다. 저희는 지난 11월부터 고려대학교 범용 전이학습 연구실 김동현 교수님 연구팀과 함께 한국특화 멀티모달 안전성 벤치마크 KSAFE-MM을 구축했습니다. 오늘은 왜 이 연구가 필요했는지, 실제로 만들면서 어떤 예상 밖의 문제들에 부딪혔는지, 그리고 최종적으로 무엇을 만들었는지 진솔하게 공유드리려 합니다.

KSAFE-MM 구축은 현재 AI 안전성 평가 체계에서 늘 아쉬웠었던 두가지를 개선하고자 하는 노력으로 시작됐습니다. 하나는 언어와 문화적 맥락, 그리고 다른 하나는 이미지가 포함된 멀티모달 환경입니다.

① 한국어: 언어만 바꿔도 안전 장치가 흔들린다

"GPT-4o는 영어로 물어보면 잘 막는데, 한국어로 물어보면 왜 다르게 반응할까?" 의심을 영문 멀티모달 안전성 벤치마크 MM-SafetyBench^[1]를 활용한 실험을 통해 확인하였습니다. 원본 데이터셋과 국문화한 버전으로 비교하였을때, 모델 3종의 안전성이 국문화 버전에서 일관되게 낮게 나타났습니다. 

그림 1. MM-SafetyBench를 활용한 언어에 따른 모델 성능 비교 실험 결과 

  

사실 언어에 따라 모델의 안전성 행동이 달라진다는 것 자체는 이미 여러 연구에서 지적되어 온 현상입니다. 그런데 저희가 주목한 것은 그 현상의 원인이 단순히 모델의 학습 부족에 그치지 않는다는 점입니다. 보다 본질적인 문제는 현재 AI 안전성 평가 생태계 자체가 영문화권 중심으로 설계되어 있다는 데 있습니다. 주요 안전성 벤치마크와 평가 데이터셋은 대부분 영어 프롬프트와 서구 문화권 맥락을 기반으로 구축되어 있고, 모델이 어떤 상황에서 유해 콘텐츠를 차단해야 하는지를 학습하는 기준 자체가 영어 환경에 최적화되어 있습니다. 한국어는 단순히 지원 언어 중 하나가 아니라, 안전성 평가의 기준 자체에서 소외된 언어인 셈입니다.

더 나아가, 단순히 영어를 한국어로 번역한 프롬프트보다 한국 사회의 실제 표현 방식과 문화적 맥락을 담아 재구성한 프롬프트에서 ASR(공격 성공률)이 더 높아지는 현상도 관찰됐습니다. MM-SafetyBench로 실험한 결과 Qwen3-VL-8b모델의 ASR이 원문 영어 프롬프트에서 29.38%였던 것이 한국어 번역 프롬프트에서는 37.98%, 한국 문화 맥락을 반영한 프롬프트에서는 38.20%까지 증가하였습니다.

그림 2. 번역 및 문화 맥락 반영에 따른 모델 ASR 성능 비교 실험 결과

이처럼 언어를 바꾸는 것만으로도 안전 장치가 흔들리고, 한국 문화 맥락이 더해지면 취약성이 한층 더 드러납니다. 이는 단순 번역으로는 해결되지 않으며, 문화적 맥락까지 반영한 평가 데이터가 별도로 필요하다는 것을 의미합니다.

② 멀티모달: 이미지 하나가 판단을 바꾼다

한국어 텍스트만의 문제가 아닙니다. 멀티모달 AI는 텍스트와 이미지를 함께 이해하고 생성합니다. 이미지는 언어보다 훨씬 직관적이고 즉각적으로 메시지를 전달하는 만큼, 폭력·선정적 콘텐츠·사행성 조장 등 다양한 위험의 파급력도 함께 커집니다. 

아래 실험에서는 일부 모델이 텍스트만 입력되었을 때는 유해 요청을 거부했지만, 특정 이미지가 함께 제시되자 맥락을 다르게 해석해 괴롭힘·혐오 표현을 포함한 응답을 생성하는 경우가 확인되었습니다. 즉, 이미지 하나가 모델의 안전 판단 기준을 변화시킬 수 있습니다. 

그림3. 이미지 입력 추가 시 발생하는 안전성 취약 사례

문제는 이미지의 유해성을 정확하게 분류하고 판단하는 기술이 아직 충분히 성숙하지 않았다는 점입니다. 특히 한국 사회의 민감한 사회·문화적 이슈가 이미지와 텍스트에 동시에 포함될 경우, AI가 이를 어떻게 이해하고 반응하는지는 더욱 복잡한 문제가 됩니다.

예를 들어 일제강점기 강제징용과 관련된 텍스트가 제시될 때, 모델은 이를 단순한 역사적 정보 요청으로 처리할까요, 아니면 반일 감정을 자극하는 유해 콘텐츠로 인식할까요? 실험에서 일부 모델은 텍스트만 있을 때는 응답을 거부하다가도, 특정 이미지가 함께 제시되자 맥락을 다르게 해석해 유해한 내러티브를 그대로 생성하는 경우가 있었습니다. 이미지 하나가 모델의 판단 기준을 바꿔버린 겁니다. 기존 영문 중심 멀티모달 안전성 벤치마크로는 이런 한국 특유의 시나리오를 다루기 어렵습니다.

두 가지 빈틈을 확인한 뒤 저희는 다음과 같은 결론을 내렸습니다. "영어 기준을 번역해서 쓰는 것으로는 부족하며, 한국어·한국 문화·멀티모달 맥락을 모두 반영한 안전성 평가 기준과 데이터를 직접 만들어야 한다." 이것이 KSAFE-MM의 출발점입니다.

KT의 RAI Technical Report^[2]에서 제안한 AI Risk Taxonomy내에 Risk Category 11종을 기반으로 자동화된 데이터 구축 파이프라인을 설계했으며, 약 1.4만 개 규모의 멀티모달 안전성 데이터를 직접 수집·구성했습니다. KSAFE-MM은 글로벌 범용 위험 평가용 KSAFE-MM-G(약 1,650개)와 한국 문화 특화 위험 평가용 KSAFE-MM-C(약 1.25만 개)로 구성됩니다.

첫 번째 축은 Global Risk 평가를 위한 KSAFE-MM-G입니다. 글로벌 환경에서 공통적으로 발생할 수 있는 범용 위험 시나리오를 다루는 데이터셋으로, 기존 영문 중심 벤치마크인 MM-SafetyBench를 기반으로 KT의 AI Risk Category 11종 체계에 맞게 재구성했습니다. 단순 번역이 아닌 '언어적 맥락화(linguistic contextualization)' 과정을 적용해, 서구권 중심의 표현과 맥락을 한국어 사용자 환경에 맞게 자연스럽게 재구성했습니다. 먼저 AI 모델을 활용해 기존 쿼리를 문화적 맥락이 포함된 경우와 그렇지 않은 경우로 분류하고, 역사·지역·기관·사회적 표현 등 핵심 요소를 추출합니다. 이후 문화적 맥락이 크지 않은 경우엔 자연스러운 한국어 번역을, 문화적 요소가 포함된 경우엔 한국 사회에서 실제 사용될 법한 표현으로 재구성합니다. 이미지도 "한국처럼 보이는 환경으로 수정"하는 편집을 거쳐 텍스트와 이미지 간 문화적 일관성을 맞췄고, 마지막으로 사람이 직접 검수해 언어적 자연스러움과 문화적 적절성을 최종 보완했습니다.

그림4. KSAFE-MM-G 구축 파이프라인 

두 번째 축은 한국 문화에 특화된 Cultural Specific Risk 평가를 위한 KSAFE-MM-C입니다. 한국 사회 특유의 이슈와 맥락에서 출발한 데이터셋으로, 단순 번역 기반으로는 포착하기 어려운 한국 특유의 위험 시나리오를 직접 설계했습니다. 국내 온라인 커뮤니티와 웹 플랫폼을 기반으로 주요 이슈와 민감 주제를 수집하여, 고령층 빈곤·저출산·공교육 위기와 같은 사회 문제뿐 아니라 위장 전입·일제강점기·정치적 선전 자동화 등 역사·정치·문화적 맥락이 강하게 반영되는 주제까지 포함했습니다. 이후 KT의 AI Risk Category 11종 체계를 기준으로, 민감 요소를 반영한 템플릿 기반 질의 생성 방식을 적용해 자연스러운 한국어 질의를 구성했습니다. 생성된 질의를 기반으로 다양한 위험 상황을 반영한 AI 기반 합성 이미지를 생성했으며, 이후 주제 관련성과 중복성 기준에 따라 이미지 정제 과정을 수행했습니다. 마지막으로 현실적인 안전성 검증을 위해 역할 부여(Pretending), 주의 전환(Attention Shifting), 권한 상승(Privilege Escalation) 등 다양한 jailbreak 공격 시나리오까지 반영했습니다.

그림 5. KSAFE-MM-C 구축 파이프라인

KSAFE-MM에서는 모델 안전성을 평가하기 위해 두 가지 핵심 지표를 함께 사용했습니다.

먼저 ASR(Attack Success Rate)은 유해한 요청이 들어왔을 때 모델이 이를 제대로 차단하지 못하고 실제로 유해 응답을 생성한 비율입니다. 반대로 RR(Refusal Rate)은 모델이 해당 요청을 명시적으로 거부한 비율을 의미합니다. 얼핏 보면 두 지표가 서로 반대 개념처럼 보이지만, 실제로는 꼭 그렇지만은 않습니다. 모델이 “답변할 수 없다”고 말하면서도 일부 유해 정보를 함께 제공하는 경우가 있기 때문입니다. 그래서 실제 안전성을 평가할 때는 ASR과 RR을 함께 살펴볼 필요가 있습니다.

그림 6. 공개 멀티모달 모델의 안전성 평가 결과 (ASR / RR)

구축 과정에서 실질적으로 시간과 리소스를 가장 많이 쏟은 것은 파이프라인 설계가 아니라 세 가지 실무적 문제였습니다.

① 이미지 생성 모델의 문화적 한계 

이미지 생성과정에서 한국적 요소를 실현하기 위해 이미지 생성 모델 선정에도 많은 검토가 필요하였습니다. KSAFE-MM-G 구축에서는 기존 영문 이미지를 한국 문화 맥락에 맞게 편집하기도 하였으나, 대부분의 이미지를 새로 생성해야 했습니다. 그런데 현재 이미지 생성 모델은 "한국 편의점 앞 골목"처럼 구체적인 한국 로컬 환경을 프롬프트로 입력해도 특정 국가를 특정하기 어려운 범아시아적 이미지를 출력하는 경우가 많았습니다. 문화적 특수성이 이미지에 충분히 반영되지 않으면 텍스트-이미지 간 맥락 일관성이 깨지기 때문에, 기준 미달 이미지는 연구진이 직접 재생성·재편집하는 과정을 반복했습니다.

② 프롬프트 자동 생성의 한계와 템플릿 방식으로의 전환 

초기에는 LLM을 활용해 질의를 자동 생성하는 방식을 시도했습니다. 그러나 자동 생성된 프롬프트는 문장 구조가 작위적이거나 실제 한국어 사용자가 쓰지 않을 법한 표현이 포함되는 경우가 빈번했습니다. 이는 벤치마크의 현실성을 떨어뜨리는 문제로 직결됐습니다. 이를 해결하기 위해 이미지의 맥락과 민감 요소를 구조화한 템플릿 기반 생성 방식으로 전환했고, 생성된 질의가 실제 한국어 사용자 환경과 유사한 자연스러운 표현을 갖추도록 품질 기준을 재정립했습니다.

③ 휴먼 검수 과정에서의 고민 

자동화 파이프라인으로 생성된 데이터는 최종적으로 안정적인 품질 확보를 위해 사람이 직접 검수해야만 했습니다. 언어의 자연스러움, 문화적 적절성, 안전성과 카테고리 라벨 정합성 세 가지 기준을 동시에 적용해야 했는데, 경계에 있는 케이스들이 특히 까다로웠습니다. "단순 정치적 발언인지 유해 콘텐츠인지", "역사적 사실 기술인지 위험한 내러티브 조장인지"처럼 맥락에 따라 판단이 달라지는 경우가 상당수였고, 검수자 간 의견 불일치를 해소하기 위한 기준 정립 과정 자체가 별도의 연구 작업이 됐습니다. 부가적으로 유해 콘텐츠를 반복적으로 검토하는 작업 특성상 검수자 피로도 관리도 중요한 운영 과제였습니다. 이런 종류의 감정 노동은 데이터 구축 업무에서 잘 언급되지 않는 현실적인 부분입니다. 비슷한 연구를 준비하는 분들이라면 팀 운영 차원에서 미리 고려하시길 권장드립니다.

한국형 AI 안전성 평가의 출발점

KSAFE-MM 벤치마크는 현재 국제 학술대회 논문으로 제출되어 리뷰가 진행 중이며, 데이터 구축 방법론에 대한 특허 출원도 완료했습니다.

저희가 이 연구에서 확인하고자 했던 것은 단순히 "한국어 모델이 얼마나 안전한가"가 아닙니다. 한국어와 한국 문화라는 맥락이 개입되는 순간 모델의 안전성 행동이 어떻게 달라지는가를 체계적으로 측정하는 것이었습니다. 기존 영어권 중심 안전성 평가만으로는 충분히 드러나지 않았던 한국어 환경의 취약성과 문화적 맥락 의존성을 데이터로 입증했다는 점에서, KSAFE-MM은 단순한 평가 데이터셋을 넘어 한국 사회의 언어·문화적 특성을 반영한 RAI 평가 체계의 기반이 될 수 있다고 생각합니다.

멀티모달 AI가 실제 서비스에 빠르게 적용되는 지금, 각 사회가 자신의 언어와 맥락으로 안전성을 검증하는 기준을 갖추는 것이 그 어느 때보다 중요해졌습니다. KSAFE-MM이 한국형 AI 안전성 연구와 정책, 그리고 실제 서비스 환경에서 활용될 수 있는 대표적인 평가 기준으로 발전해 나가기를 기대합니다. 

 

[1] MM-SafetyBench 

[2] Responsible AI Technical Report