정성 평가 신뢰성 검증: 평가자 간 일치도 기반 평가

정성 평가는 정량 평가와 달리 평가자의 해석과 판단이 개입되는 특성을 가지기 때문에, 동일 결과에 대해서도 평가자 간 점수 차이가 발생할 수 있습니다. 단순히 평균 점수를 산출하는 것만으로는 해당 결과가 일관된 기준에 기반한 것인지 판단하기 어렵기 때문에, 일관성을 검증하는 과정이 필요합니다. 이러한 정성 평가의 신뢰성을 확보하기 위해, 우리는 다수 평가자 기반의 교차 평가 방식을 적용했습니다. 총 26명의 전문 평가단(VLM 9명, 음성 번역 3명, 음성 합성 14명)을 구성하여 각 문항을 복수의 평가자가 독립적으로 평가하고 그 결과를 종합하는 방식으로 운영했습니다.

초기 평가 단계에서는 오류 사례 해석이나 세부 채점 기준에 대해 평가자 간 일부 시각 차이가 나타났습니다. 이를 해소하기 위해 평가 설계 의도와 항목별 판단 기준을 공유하는 일치 세션(Alignment Session)을 운영하여 평가 기준을 정렬하고, 동일한 기준에 기반한 평가가 이루어질 수 있도록 보완했습니다.

또한 평가 전반에 걸쳐 평가자 간 일치도를 정량적으로 확인하기 위해 Fleiss’ Kappa 지수를 활용했습니다. Fleiss’ Kappa는 다수 평가자 간 평가의 합의 수준을 측정하는 지표로, 높을수록 평가자들이 동일 문항에 대해 유사한 판단을 내렸음을 의미합니다. 일반적으로 0.2 이상일 경우 ‘Fair agreement(기본 수준의 합의)’로 해석됩니다.

본 평가에서는 해당 기준을 만족하는 수준의 평가자 간 일치도를 확보했으며, 이를 통해 정성 평가 결과를 신뢰 가능한 정량 지표로 활용할 수 있는 기반을 마련했습니다.

2.4 종합 분석 및 배포 판정

앞서 진행한 모든 시험(정량 평가, 정성 평가) 결과와 신뢰성 검증 지표를 한데 모아, 멀티모달 AI 모델의 최종 출시 여부를 결정하는 단계입니다. 대학 입학을 앞둔 수험생에 비유하자면 수능 성적(정량)과 논술·면접 결과(정성)를 모두 종합하여 최종 합격 여부를 판정하는 것과 같습니다. 정량·정성 평가의 결과에 치명적인 오류가 없고 품질 평가 기준에서도 비교 대상 모델 대비 동등 이상의 수준일 때 최종적으로 배포 판정을 받게 됩니다. 

3. 평가 체계 적용 결과: 주목해야 할 4가지 품질 특징

이번 품질 평가를 통해 멀티모달 AI 모델들이 실제 서비스 환경에서 어떤 행동 특성을 보이는지 다각도로 확인했습니다. 3절에서는 전체 평가 결과 중 본 글에서 특별히 소개해 드리고 싶은 4가지 핵심 유형과 특징을 요약하여 소개합니다. 각 유형에 대한 구체적인 실제 사례와 데이터는 이어지는 4절에서 상세히 다룹니다.

3.1 SLM 음성 번역: 단순 받아쓰기를 넘어선 '지시 이행' 평가

음성 번역 평가는 단순한 번역 정확도를 넘어, 입력 음성을 제대로 이해하고 주어진 지시(번역)를 수행 하는지를 함께 확인했습니다. 

한국어와 영어 음성 데이터를 기반으로 양방향 번역을 평가한 결과, 일부 문항에서 번역 대신 원문을 그대로 출력하는 사례가 관찰되었습니다. 이는 음성을 정확히 듣는 것과 실제로 번역을 수행하는 것이 서로 다른 문제임을 보여줍니다. 이러한 결과는 음성 번역 모델의 품질을 평가할 때, 번역 정확도뿐 아니라 음성 이해 능력과 지시 이행 여부를 함께 검증할 필요가 있음을 보여줍니다.

3.2 SLM 음성 합성: 감정 표현 및 발화 품질의 일관성

음성 합성(TTS) 평가는 다양한 실제 서비스 환경에서도 일관된 품질을 제공할 수 있는지를 검증하는 방향으로 평가했습니다.

기쁨, 슬픔, 분노 등 감정을 담아 말해야 하는 상황이나 긴 문장을 연속적으로 말해야 하는 환경에서 목소리 변화와 음질의 안전성을 중심으로 평가를 진행했습니다. 또한 평가자 성별과 연령대에 따른 점수 분포를 함께 분석하여 특정 사용자군에 치우치지 않고 균형 잡힌 품질을 제공하는지도 점검했습니다. 평가 결과, 단순 점수만으로는 확인하기 어려운 감정 표현의 차이와, 장문 발화 과정에서 일부 내용이 변경되거나 누락되는 문제와 같은 한계를 함께 확인할 수 있었습니다.

3.3 VLM (비전-언어): 인식과 추론 능력의 구분

VLM(비전-언어) 모델의 품질 평가는 단순히 이미지 내 객체나 텍스트를 정확하게 인식하는 수준을 넘어, 해당 정보를 기반으로 맥락을 이해하고 적절한 추론을 수행하는지를 함께 확인하는 방식으로 진행했습니다.

이러한 특성을 반영하여, 이미지를 제대로 보는 인식과 이를 바탕으로 이해하고 판단하는 추론 영역으로 평가를 구분했습니다. 평가 결과, 동일 수준의 품질로 보이더라도 실패 원인이 서로 다르게 나타났습니다. 어떤 경우에는 이미지 내 정보를 제대로 읽지 못해 틀렸고, 또 다른 경우에는 정보를 정확히 읽었음에도 이를 잘못 해석하면서 오답으로 이어졌습니다. 또한 그림자나 빛 번짐, 저해상도와 같은 품질이 좋지 않은 이미지의 경우에는 시각적인 정보를 읽는 능력이 저하되면서 결과에도 영향을 주는 사례가 확인되었습니다.

이러한 결과는 VLM 품질을 평가할 때 단순히 정답을 맞혔는지 여부만 보기보다는, 이미지를 제대로 인식했는지 그리고 이를 어떻게 해석했는지를 나누어 확인할 필요가 있음을 보여줍니다. 

3.4 OMNI (삼중 모달): 다중 모달 통합 추론의 기술적 특성

시각·음성·발화 정보가 결합된 OMNI 환경에서의 멀티모달 AI 모델을 평가한 결과, 개별 정보에 대한 인식이나 단순한 상황 이해는 일정 수준에서 안정적인 성능을 보였습니다. 다만 여러 정보가 동시에 제공되는 상황에서는, 사건의 의도나 인과관계를 파악하는 과정에서 맥락이 끊기거나 추론이 흔들리는 사례가 관찰되었습니다.

특히 서로 다른 모달리티 정보가 함께 제시될 때, 어떤 정보를 더 중요하게 반영해야 하는지를 판단하지 못해 전체적인 판단이 어긋나는 경우가 나타났습니다. 이러한 결과는 OMNI 환경에서의 성능을 평가할 때, 단순한 개별 인식 능력뿐 아니라 여러 정보를 통합해 일관된 추론을 수행하는 능력까지 함께 확인할 필요가 있음을 보여줍니다.

4. 상세 사례 분석: 4가지 품질 특징의 실제 예시

앞서 3절에서 요약한 4가지 품질 특징이 실제 평가 과정에서 어떻게 나타났는지 구체적인 사례를 통해 살펴보겠습니다. 특정 모델의 우열을 가리기보다, 실제 비즈니스 환경에 멀티모달 AI 모델을 적용할 때 어떤 점을 고려하고 보완해야 하는지 시사점을 얻기 위한 분석 예시입니다.

4.1 SLM 음성 번역: 지시 이행 실패 사례

일부 사례에서 영어 음성을 한국어로 번역하라는 요청이 주어졌음에도, 원문 음성을 그대로 텍스트로 출력하는 오류가 관찰되었습니다. 이러한 오류는 단순 정답률과 같은 정량 지표로는 확인하기 어려운 유형입니다. 휴먼 기반 평가를 통해 모델이 요청을 제대로 이해하고, 요구된 작업을 정확하게 수행하는지, 즉 요청을 정확히 이행하는지 여부를 확인할 필요가 있음을 보여줍니다.

4.2 SLM 음성 합성: 스크립트 변형 및 축약 사례

평가 결과 일부 문항에서 전달해야 할 스크립트와 다르게, 문장이 축약되거나 표현이 임의로 변형되는 현상이 관찰되었습니다. 이러한 유형은 단순한 발화 자연스러움 문제가 아니라, 정보 전달 과정에서 의미가 달라지거나 누락될 수 있는 오류로 이어져 서비스 품질 안정성에 영향을 줄 수 있습니다. 이러한 사례는 음성 합성 모델의 품질을 평가할 때, 자연스러운 발화뿐 아니라 전달해야 할 내용을 얼마나 정확하게 유지하는지도 함께 확인할 필요가 있음을 보여줍니다.

4.3 VLM (비전-언어): 인식과 추론 간 불일치 사례

평가 과정에서 이미지 인식과 추론 결과를 나누어 확인한 결과, 동일한 이미지에 대해서도 두 단계 간 결과가 일관되지 않게 나타나는 사례가 관찰되었습니다.

이를 보다 정확히 확인하기 위해, 동일한 이미지에 대해 다른 문항을 구성했습니다:

• (인식) 이미지 속 글자나 객체 등 시각 정보를 읽는 문항
• (추론) 장면의 의미나 요소 간 관계를 해석하는 문항

그 결과, 이미지 내 객체나 텍스트 등은 비교적 정확히 인식했음에도, 이를 바탕으로 한 장면 해석에서 오답이 발생한 사례가 나타났습니다. 반대로 필요한 정보를 충분히 읽어내지 못했음에도 도메인 지식을 활용하여 추론을 맞힌 경우도 확인되었습니다.

이러한 사례는 단순히 정답률만으로는 VLM의 오류가 '인식' 단계에서 발생했는지, '추론' 단계에서 발생했는지 구분하기 어렵다는 한계를 보여줍니다. 반면 두 단계를 분리하여 평가하면 오류의 근본적인 원인을 훨씬 명확하게 파악할 수 있습니다.

4.3.1 이미지 품질에 따른 인식 성능

문자 경계 뭉개짐으로 인한 인식 실패 사례

빛번짐으로 인한 인식 실패 사례

4.4 OMNI (삼중 모달): 부분 정보에 의존한 추론 오류 사례

멀티모달 환경에서는 여러 정보를 함께 고려해 판단하는 능력이 중요합니다. 평가 과정에서 일부 모델이 여러 단서를 종합하지 못하고 특정 정보에만 의존해 잘못된 결론을 내리는 사례가 관찰되었습니다. 예를 들어, 시각적으로 강하게 드러나는 요소나 발화 중 일부 단서에만 주목하고, 다른 정보를 충분히 반영하지 못해 전체 맥락과 다른 판단을 내리는 경우가 나타났습니다.

이러한 사례는 모델이 개별 정보를 인식하는 능력과는 별개로, 여러 정보를 함께 고려해 일관된 판단을 수행하는 과정에서 일부 단서에 치우친 오류가 발생할 수 있음을 보여줍니다. 

예를 들어, 아래 사례 이미지에서는 인물이 밤하늘을 가리키고, 음성에서는 한 화자가 “그 사람임에 틀림없어!”라고 말한 후, 다른 화자가 “그건 단순한 천체의 빛일 뿐”이라고 상황을 설명합니다. 이 경우 전체 맥락을 이해하려면 두 번째 화자의 설명을 반영해, 해당 상황을 그림의 인물이 손가락으로 가리키는 별에 관한 것으로 판단해야 합니다. 그러나 일부 모델은 이 음성 정보를 충분히 반영하지 못하고, 시각적으로 강조된 행동과 일부 발화에만 기반해 인물(손가락의 주체) 자체에 집중하는 패턴을 보였습니다.

따라서 OMNI 환경에서의 멀티모달 AI 모델의 품질을 평가할 때는 개별 정보 인식뿐 아니라, 여러 정보를 종합해 일관된 추론을 수행하는 능력까지 함께 확인할 필요가 있습니다.

4.5 사례 분석을 통해 확인된 멀티모달 품질 검증의 특성

이번 평가에서 확인된 사례들은, 단순한 정답률 중심의 평가만으로는 실제 환경에서 발생하는 문제를 충분히 파악하기 어렵다는 점을 보여줍니다. 실제 서비스 환경에서는 동일한 유형의 문제라도 입력 조건에 따라 결과가 달라지며, 단순히 오답 여부만으로는 오류의 원인을 설명하기 어렵습니다.

이에 이번 평가에서 정량 지표뿐 아니라 정성 평가 로그, 오답 사례 분석과 맥락 기반 해석을 함께 수행하여 모델의 동작 특성을 보다 구체적으로 파악했습니다. 특히 각 오류에 대해 어떤 상황에서, 어떤 정보가 제대로 반영되지 않았는지를 중심으로 분석함으로써, 단순 점수 이상의 의미 있는 결과를 도출할 수 있었습니다.

이러한 접근은 모델 간 품질 비교를 위한 것이 아니라, 실제 B2B 환경에서 모델을 적용할 때 필요한 활용 가능성 판단 기준을 마련하는 데 목적이 있습니다. 결국 중요한 것은 모델의 순위가 아니라, 서비스 맥락에 따라 적용 가능 여부를 판단하고, 보완이 필요한 영역을 구체적으로 식별하는 것입니다.

5. 결론: B2B 서비스 적용을 위한 품질 평가 체계 고도화 방향

이번 품질 평가의 의의는 단순히 품질이 높은 모델을 선정하는 데 그치지 않고, 실제 비즈니스 환경에서 발생할 수 있는 오작동과 위험 요소를 사전에 확인할 수 있는 실질적인 평가 기준을 마련했다는 점에 있습니다.

텍스트, 음성, 이미지가 복합적으로 작용하는 환경에서는 벤치마크 총점과 같은 단순 점수만으로는 모델의 품질을 충분히 설명하기 어렵습니다. 따라서 단순 품질 비교를 넘어, 결함의 원인을 추적하고 상황별 위험 요소를 판단할 수 있는 기준이 필요합니다. 평가 기준이 실제 환경에 맞게 지속적으로 정교해질수록, 서비스 도입 과정에서 발생할 수 있는 문제를 사전에 예방하고 보다 근거 있는 의사 결정을 내릴 수 있습니다.

이를 위해 우리는 향후 다음과 같은 방향으로 평가 체계를 고도화할 계획입니다.

향후 평가 고도화 방향

• 이미지 및 문서 이해 영역: 실제 사업 환경에서 발생하는 다양한 형태의 복잡한 데이터를 반영하고, 단순 인식과 맥락 기반 이해 및 추론 능력을 명확히 구분하여 평가
• 음성 영역: 사투리·구어체·고난도 번역 시나리오 등 다양한 형태 데이터 확대
• 지시 이행: 음성 기반 지시 이행 평가(Speech IFEval 등) 도입을 통해 실제 환경에서의 수행 능력 검증 강화
• 평가 체계 고도화 : 정량·정성 평가를 결합한 기존 체계를 확장하고, 자동 평가(LLM Judge)를 활용한 평가 효율성 및 확장성 확보

맺음말

본 글은 멀티모달 AI의 품질을 어떤 평가 체계로, 어떤 기준으로 검증하는지에 대한 우리의 설계·운영 경험을 정리한 것입니다. 향후 평가 체계 설계와 운영에 참고가 되기를 바라며 긴 글 끝까지 읽어주셔서 감사합니다.