안녕하세요! 저희는 KT의 Decision Intelligence Lab에서 AI 모델의 품질 평가 수행/연구를 담당하고 있는 안지현, 이아현입니다. 이 글에서는 저희가 SOTA K, 믿:음 K 모델 출시를 위해 다양한 LLM 모델을 평가하면서 얻은 노하우와 신뢰성 있는 LLM 품질 평가를 위해 휴먼 평가 분야에서 어떠한 노력을 기울여 왔는지 소개하고자 합니다.

대규모 언어 모델(LLM)의 품질을 평가하는 일은 연구와 실무 모두에서 핵심 과제입니다. LLM의 품질을 평가할 때 가장 먼저 떠오르는 방법은 ‘벤치마크’를 활용한 자동 평가입니다. 자동 평가는 다양한 영역에 대해 비교적 적은 비용으로 빠르게 평가 결과를 산출하고, 서로 다른 LLM의 품질을 일관된 기준으로 비교할 수 있습니다. 주어진 선택지 중 정해진 정답을 고르도록 하는 벤치마크 테스트에서는 모델 답변의 ‘정확성’을 명확히 측정할 수 있고 평가 결과의 ‘재현성’이 높으며 ‘객관적’이라고 볼 수 있습니다. 

하지만 자동 평가 만으로는 실제로 사용자가 LLM을 활용하며 느끼는 품질은 제대로 담아내지 못합니다. 정답을 잘 맞춰 자동 평가 점수가 높더라도, 모델이 선택한 답이 왜 맞는 지에 대한 추론 과정이나 언어적 표현 능력은 사용자의 기대와 다를 수 있기 때문입니다. 이 지점에서 중요한 역할을 하는 것이 바로 휴먼 평가(Human Evaluation)입니다.

휴먼 평가가 보완하는 영역

실제 사용자가 LLM을 활용할 때는 문제의 정답만으로 품질을 판단하지 않습니다. 사람이 직접 평가를 하면 문장이 맥락에 어울리는지, 표현이 어색하지는 않은지 등 자동 평가가 포착하지 못하는 맥락 적합성, 언어적 뉘앙스를 파악할 수 있고, 잘못된 내용이나 부정확한 추론을 비판적으로 판별해 낼 수 있습니다. 특히 휴먼 평가는 모델이 제공하는 결과를 실제 사용자의 활용 측면에서 검증함으로써, 모델의 실제 가치를 판단할 수 있는 토대를 마련합니다. 다시 말해, 휴먼 평가는 모델이 ‘언어를 흉내 내는 것’을 넘어 ‘실제 사용자의 요구와 기대를 충족하는지’를 확인하는 마지막 보루라고 볼 수 있습니다. 따라서 신뢰성 있는 LLM 평가를 위해서는 자동 평가와 휴먼 평가가 상호 보완적인 관계로 설계되어야 합니다. 이 글에서는 바로 그 휴먼 평가를 어떻게 설계하는지, 그리고 어떻게 더 신뢰성 있게 평가를 수행할 수 있는 지에 대해 살펴보겠습니다.

휴먼 평가를 설계할 때에는 단순히 ‘사람이 모델 출력 답변을 읽고 점수를 평가한다’는 수준을 넘어서, 평가 지표, 평가 스케일, 평가자 구성까지 체계적으로 정의해야 합니다. 아래에서는 저희가 모델 출시 및 평가를 위해 실제로 활용한 휴먼 평가 방법론에 대해 소개합니다.

평가 지표

가장 먼저 정의해야 할 것은 ‘무엇을 평가할 것인가’ 입니다. 목적에 따라 평가 지표가 달라지며, 영역별로 세분화할 수도 있습니다. 지표를 명확히 설정하면, 단순히 모델의 답변이 ‘맞다/틀리다’가 아니라 사용자의 요구와 목적에 부합하는 구체적인 평가 ·판단을 내릴 수 있습니다.

예를 들어, ‘언어 구사력’은 문법적 정확성과 유창성, 논리적 일관성을 함께 포함합니다. 단순히 오류 없는 문장 작성이 아니라, 사용자가 읽기에 자연스럽고 설득력 있게 전달되는지 보는 것입니다. 또한 ‘문체 적절성’은 답변이 맥락과 톤에 맞는지 확인합니다. 같은 주제라도 신문 기사인지, 에세이나 캐주얼한 대화인지 등 유형에 따라 어휘 선택과 표현 방식은 달라져야 하며, 이는 자동 평가로는 평가하기 어려운 영역입니다. ‘지시 이행성’은 사용자의 요청이나 지시를 모델이 제대로 이해하고 따랐는지 확인하는 지표입니다. 단순 질의 응답 뿐만 아니라 ‘두 문장으로 요약해달라’ 혹은 ‘공식적인 어투로 작성해 달라’ 같은 세부적인 조건까지 반영할 수 있어야 합니다. ‘분량 적절성’은 답변이 과도하게 장황하거나 지나치게 간략하지 않은지, 사용자가 원하는 깊이와 범위를 충족시켰는지 평가합니다.

표 1. 휴먼평가 영역별 지표 예시

평가 스케일

평가 목적에 맞는 지표를 정의했다면, 이제 모델 품질을 ‘어떻게 수치화하고 비교할 것인가’를 결정해야 합니다. LLM 평가를 포함한 다양한 사용자 경험(User Experience) 연구에서 가장 널리 사용되는 평가 방식은 A/B 테스트와 리커트 척도(Likert Scale) 입니다. A/B 테스트는 두 모델을 직접 비교해 어느 쪽이 더 우수한지 명확하게 보여주는 반면에, 리커트 척도는 한 가지 항목을 여러 지표로 세분화해 품질 차이를 수치로 환산할 수 있다는 장점이 있습니다.

리커트 척도는 절대적 품질 수준을 측정하고 싶을 때 효과적입니다. 보통 3점, 5점 등 홀수 단위로 설계되고, 각 지표에 대해 ‘매우 부적절하다’에서 ‘매우 적절하다’까지 단계적으로 평가하며, 이를 통해 답변의 질적 수준을 연속적인 데이터로 축적할 수 있습니다. 예를 들어, ‘문체 적절성’의 경우 “1점: 문맥과 전혀 맞지 않음”부터 “5점: 맥락과 어휘 선택이 매우 자연스럽고 적절함”으로 구분할 수 있습니다. 이런 방식은 A/B 테스트보다 세밀한 차이를 포착할 수 있으며, 척도의 선택은 평가 목적에 따라 달라집니다.

또 하나 중요한 부분은 지표별 가중치입니다. 모든 지표가 동일한 비중을 가지는 것은 아니므로, 핵심 지표에는 가중치를 부여해서 최종 점수가 지표별 중요도를 반영할 수 있도록 해야 합니다.

즉, 척도는 평가의 정밀도를 조절하는 장치이고, 가중치는 평가 목적에 맞게 지표의 중요도를 반영하는 장치라고 할 수 있습니다. 이렇게 리커트 척도와 가중치 전략을 결합하면 정량적이고 체계적인 형태로 설계가 가능합니다.

평가자 구성

평가자 구성은 결과의 신뢰성과 타당성을 좌우하는 핵심 요소입니다. 한 명의 평가자가 내린 판단은 개별 평가자의 개인적 경험, 지식 수준, 언어적 취향에 영향을 받을 수 밖에 없습니다. 따라서 다수의 평가자가 참여해야 개인적인 주관이 희석될 수 있고 평가 결과의 일관성과 객관성을 확보할 수 있습니다.

평가자의 배경과 전문성 역시 중요합니다. 금융, 법률, 의학과 같이 전문 지식이 요구되는 Task라면 해당 분야의 전문가가 평가에 참여해야 정확한 피드백을 얻을 수 있습니다. 반대로 일반적인 사용자의 직관적 판단이 중요한 영역에서는 전문가보다는 크라우드소싱 평가자가 더 효과적일 수 있습니다. 전문가 평가는 높은 신뢰도를 제공하지만 비용이 많이 수반됩니다. 반면, 크라우드소싱은 비교적 저렴하고 빠르게 대규모 평가 데이터를 수집할 수 있지만 평가 품질 관리가 어려울 수 있습니다.

따라서 평가자 구성은 각 평가 영역별로 전문성 중심의 평가와 비용 효율성 중심의 평가를 적절히 조합하는 전략이 필요합니다. 예를 들어, 번역이나 코딩에 대한 평가가 필요하다면 관련 전공자 또는 해당 Skill 보유자를 배치하는 것이 적합합니다. 반면 일반 질의응답(QA) 품질 평가라면 크라우드소싱을 활용하는 편이 더 효율적일 수 있습니다. 이렇게 적용하면 현실적인 제약 속에서도 평가의 신뢰성과 실용성을 동시에 확보할 수 있습니다.

3. 휴먼평가 점수 산출 방법

휴먼 평가 프레임워크가 실제로 어떻게 작동하는지, ‘작문’ 영역의 예시를 통해 최종 평가 점수가 산출되는 과정을 살펴보겠습니다.

LLM 모델에게 “호캉스 패키지를 판매하기 위한 광고카피를 작성하라”는 프롬프트를 주었고, 이를 평가하기 위해 다음과 같이 지표를 설정합니다.

위 다섯 가지 지표는 광고 카피라는 작문 과제에서 평가해야 할 중요한 요소를 반영합니다. 형식과 주제의 적절성이 핵심이지만, 문체와 언어적인 매끄러움, 그리고 사회적으로 안전한 메시지 또한 중요한 기준입니다. 평가자는 광고 카피의 특성 상 일반 사용자 3인으로 구성하고, 개인적 주관의 편향을 줄이기 위해 모든 평가자에게 동일한 가이드라인과 사례 문항을 사전에 공유합니다. 그리고 평가 스케일은 리커트 척도를 사용하여 지표별로 평가를 수행하고, 모든 평가 지표는 지표별 가중치를 적용하여 합산 점수로 환산합니다. 환산된 점수에 대해 평가자별 평균을 내면 최종 평가 점수를 얻을 수 있습니다. 이렇게 평가 지표-스케일-평가자 세 요소가 유기적으로 연결되어 평가 결과가 산출됩니다.

휴먼 평가는 자동 평가가 놓칠 수 있는 맥락, 문체, 유창성과 같은 정성적인 요소를 평가할 수 있다는 장점이 있지만, 동시에 사람이 직접 수행한다는 특성 때문에 일관성과 객관성을 담보하기 어렵다는 한계가 존재합니다. 평가자의 배경 지식, 언어적 취향, 피로도와 같은 요소가 점수에 영향을 주기 때문에, 동일한 답변이라도 평가자에 따라 결과가 달라지는 문제가 발생할 수 있습니다. 평가자 간의 편차가 클 경우 평가 결과의 신뢰성은 약화되고, 나아가 모델의 성능을 비교하거나 개선 방향을 설정할 때 잘못된 판단을 하게 될 수도 있습니다. 따라서 휴먼 평가의 신뢰성을 확보하기 위해서는 평가 과정 전반에 체계적인 관리와 검증 절차가 필요합니다. 휴먼 평가의 품질은 개별 평가자의 역량보다도, 평가를 어떻게 설계·관리·검증하느냐에 달려 있다고 볼 수 있습니다. 이를 위해 저희는 평가 결과의 객관성과 일관성을 높이기 위한 방법론을 다음과 같이 적용하고 있습니다.

평가자 간 일치도 측정

평가의 신뢰성을 확보하는 첫 번째 방법론은 평가자간 일치도(inter-rater reliability)를 통계적으로 검증하는 것입니다. 여러 명의 평가자가 동일한 답변에 대해 평가를 수행했을 때, 그 결과가 일관적이지 않다면 평가의 객관성은 떨어질 수 밖에 없습니다. 이때 평균 점수를 산출하는 방식은 개별 평가자의 편향을 모두 제거하지 못하기 때문에, 통계적인 검증을 통해 평가자간 합의(Agreement) 수준을 진단하는 절차가 필요합니다.

이 과정에서 많이 활용되는 통계 지표가 Fleiss’ Kappa 입니다. Fleiss' Kappa는 세 명 이상의 평가자가 다수의 항목에 대해 범주형 평가를 내렸을 때, 우연에 의한 일치 가능성을 보정하여 실제 Agreement 수준을 측정할 수 있게 합니다. 값은 -1에서 1 사이에 분포하고, 우연히 합의된 경우 0입니다. 이 값이 높을수록 평가의 신뢰성이 크다는 의미이며, 일반적으로 0.6이상이면 ‘상당한 합의(substantial agreement)’로 볼 수 있습니다. Kappa값을 평가 과정에서 산출함으로써 평가자 간 일치도가 충분한지 여부를 판단할 수 있습니다.

평가 가이드라인과 평가자 교육 및 관리

평가자가 동일한 지표를 보고 답변을 평가하더라도, 지표 해석의 범위가 다르면 점수 편차가 커져 일관된 결과를 얻기 어렵습니다. 따라서 구체적인 예시와 함께 채점 기준을 세분화하여 문서화하는 과정이 중요합니다. 예컨대 ‘언어구사력’ 지표를 평가할 때는 단순히 ‘자연스럽다’라는 기준 대신, ‘문장 구조, 단어 선택, 문법에서 얼마나 매끄럽고 명확한지’ 등 좀 더 구체적인 판단 항목을 제시하면 개별 평가자의 해석의 여지를 줄일 수 있습니다.

또한 평가자가 가이드라인을 충분히 이해하도록 사전 교육과 기준 일치 세션(alignment session)을 운영하는 것이 효과적입니다. 이 단계에서는 평가자들이 각자 부여한 점수에 대해 서로의 점수 차이를 비교하고 논의하며 합의점을 찾아 기준을 재정립합니다. 이를 통해 평가자들은 지표 해석의 일관성을 확보하게 되고, 결과적으로 평가자간 편차를 줄일 수 있습니다. 특히 Fleiss’ Kappa 값이 낮게 나타난 문항을 중심으로 기준을 일치시켜 나간다면 평가자 간 해석의 차이가 큰 지점을 집중적으로 개선할 수 있어 이후 평가의 일관성을 한층 높일 수 있습니다.

아울러, 평가자의 전문성과 신뢰성을 확보하기 위해 매회 동일한 문항 세트를 반복적으로 평가하도록 설계합니다. 이렇게 하면 평가자의 평가 기준이 얼마나 일관되게 유지되는지를 추적할 수 있고, 동시에 맡은 영역에 대한 전문성을 더욱 강화할 수 있습니다.

더불어 일정 시간 내에 평가하도록 제한하여 집중도를 유지합니다. 평가 시간이 지나치게 길어지면 피로도와 주관적인 판단이 개입될 위험이 높아지고, 평가 시간이 지나치게 짧을 경우 신뢰할 수 있는 결과를 얻기 힘들기 때문에 작업량을 적절히 분할하고 평가 세션을 관리하는 것이 필요합니다. 이러한 관리 체계는 평가 품질을 장기적으로 유지하는데에 중요한 역할을 합니다.

블라인드 평가 설계

모델 평가에 대한 편향을 줄이기 위해서는 블라인드 평가 역시 필수적입니다. 평가자가 어떤 모델의 답변을 보고 있는지 알 수 없도록, model_1, model_2처럼 익명화하여 제시합니다. 더 나아가 문항별로 모델이 배치되는 순서를 무작위로 섞어주면, 특정 모델이 항상 앞이나 뒤에 노출되어 발생할 수 있는 순서 효과(order effect)까지 방지할 수 있습니다. 이를 통해 평가자는 결과 자체의 품질만을 기준으로 객관적인 평가를 진행할 수 있게 됩니다.

평가 수행/분석 시스템

저희는 앞서 설명한 방법론을 실제로 적용하기 위해 평가자가 독립된 환경에서 평가를 진행할 수 있는 전용 시스템을 구축했습니다. 이 시스템은 평가의 일관성·신뢰성·보안성을 확보하는 데 초점을 맞췄으며, 다음과 같은 방식으로 구현되었습니다.

먼저 일관성을 위해 평가자가 매회 동일한 문항 세트를 평가하도록 설계했습니다. 이렇게 하면 개인별 평가 기준이 흔들리지 않고, 반복 평가를 통해 평가 분야에 대한 전문성도 강화됩니다. 또한 평가자가 언제든 지표별 기준과 가이드라인을 확인할 수 있도록 UI를 구성해, 평가 전반에서 일관된 판단을 내릴 수 있도록 했습니다.

신뢰성을 확보하기 위해 먼저 블라인드 평가를 도입하여 답변이 어느 모델에서 생성된 것인지 평가자에게 노출시키지 않음으로써 편향을 최소화했습니다. 그리고 문항별 모델 순서 또한 무작위로 섞어, 특정 모델이 항상 앞이나 뒤에 배치되며 생길 수 있는 순서 효과를 방지했습니다. 또한 평가 시간을 제한해 너무 빠르게 평가가 진행될 경우 알림을 제공하도록 했습니다. 마지막으로 평가 데이터 제공부터 점수 입력, 결과 수집까지 프로세스를 자동화하여 휴먼 에러 발생 가능성을 크게 줄였습니다.

마지막으로 보안성을 고려해 평가자는 시스템 UI를 통해 자신에게 할당된 문항만 볼 수 있도록 구성했습니다. 동시에 복사하기(ctrl+c)나 마우스 우클릭과 같은 기능을 제한해, 평가 데이터가 외부로 유출되거나 재공유되는 것을 원천적으로 차단했습니다.

이러한 기능들을 통해 저희는 일관성·신뢰성·보안성을 갖춘 평가 인프라를 구축했으며, 이를 기반으로 휴먼 평가가 객관적이고 투명하게 진행되도록 운영하고 있습니다.

 KT는 SOTA K와 믿:음 K과 같은 다양한 자체 모델을 개발·출시하고 있으며, 휴먼 평가는 모델 출시를 위한 검증에 있어 핵심 도구로 활용되고 있습니다. 이번 Chapter에서는 SOTA K와 믿:음 K 모델 출시를 준비하며 진행했던 평가 과정에서 얻은 인사이트를 공유 드리고자 합니다.

가독성이 사용자 경험을 좌우한다

SOTA K는 글로벌 최고 성능의 GPT-4o에 KT 자체 데이터를 학습하여, 한국어와 한국의 역사 · 문화 · 정서에 특화된 모델입니다. (K Model | K intelligence)  

SOTA K는 한국적 AI 벤치마크 평가에서  벤치마크 점수와 정확성 측면에서 GPT-4o 대비 모두 우수한 성능을 보였습니다. 특히 한국 특화 주제의 지식 QA(질의응답)에서는 수치로도 뚜렷한 품질 개선이 확인되었고, 내부 평가자들 역시 SOTA K가 한 단계 진보한 품질을 갖추었다고 평가했습니다. 하지만 출시 전 실제 사용자 대상 A/B 테스트 결과는 예상과 매우 달랐습니다. 정확성 평가에서 높은 점수를 받은 SOTA K보다 GPT-4o의 답변이 오히려 사용자 선호도에서 더 높은 점수를 기록한 것입니다. 품질이 개선된 모델이 왜 사용자에게는 덜 매력적으로 느껴졌을까요? 사용자 피드백을 면밀히 분석한 결과, GPT-4o는 정돈된 개조식 문단 구조를 유지하고 있던 반면, SOTA K는 줄글 형태로 답변을 제시해 포맷과 가독성에서 큰 차이가 있었습니다. 즉, 정확성 점수보다 답변을 얼마나 읽기 쉽게 전달하는가가 사용자 만족도에 더 큰 영향을 미쳤던 것입니다. 사용자들은 정보의 정확성도 중요하게 보지만, 동시에 문단 구분, 불렛 포인트, 개조식 표현, 심지어 적절한 이모지 활용과 같은 시각적으로 잘 정리된 답변을 선호한다는 사실을 확인할 수 있었습니다. 이를 개선하기 위해 SOTA K의 출력 포맷을 전면적으로 점검했고, 문단 구조화, 핵심 키 포인트 강조와 같은 가독성 중심의 포맷팅 전략을 적용했습니다.

이 경험은 평가 결과와 실제 사용자 경험 간의 간극을 보여주는 대표적인 사례로, 이 과정에서 얻은 교훈은 명확합니다. LLM 평가에서 성능 수치만큼 중요한 것은 ‘사용자가 답변을 어떻게 소비하는가’이며, 모델이 내놓는 출력의 구조와 형식적 완성도는 생각보다 훨씬 큰 영향을 미치기 때문에, 사용자 입장에서 읽기 쉽고 이해하기 편한 체감 품질 요소를 함께 고려해야 한다는 결론에 도달할 수 있었습니다. 해당 경험을 통해 모델 성능을 제대로 이해하고 개선하기 위해서는 휴먼 평가가 필수적이라는 사실을 다시 한 번 확인할 수 있었습니다.

표 3. GPT-4o, SOTA K 모델의 개선 전/후 답변 비교

정확성 너머, 품질의 완성으로

믿:음 K 모델을 테스트하는 과정에서 한 가지 문제를 발견하게 됩니다. 한/영 또는 영/한 번역을 수행하면서 ‘자동 번역이며 번역 품질을 검토하라’는 문구를 명시하라는 요청에 대해, 일부 문항에서는 해당 내용을 명시하지 않고 번역문만 제시되는 경우가 있었습니다. 번역 결과 자체의 정확성은 나쁘지 않더라도, 사용자가 직접 요청한 사항을 일부 누락하였기 때문에 이는 사용자 입장에서 불편하게 느껴질 수밖에 없는 품질 저하 요인이었습니다.

나아가 이 문제는 번역 영역에만 국한되지 않습니다. 요약 영역이나, 보도자료 문서 형식을 신문 기사로 변환하는 등 다양한 LLM 활용 영역에서도 지시 이행성은 중요한 품질 요인입니다. 예를 들어 문서 변환 요청에 자연스럽지 않은 형식으로 작성되거나, 요약이 사용자가 요청된 세부 제약 조건대로 수행되지 않을 경우, 자동 평가 만으로는 검출하기 어려운 영역이기 때문에 결국 휴먼 평가를 통해서 이 빈틈을 확인해야 합니다.

번역 영역의 품질을 측정할 때 단순히 번역 정확성과 문체의 자연스러움만 보는 것이 아니라, 사용자의 요구 사항을 정확하게 반영했는지 까지 평가 범위로 보아 ‘번역정확성’, ‘문체적절성’, 지시이행성’ 총 3가지 지표로 번역 영역의 품질을 측정할 수 있도록 설계하였습니다. 이를 통해 번역 영역에서 발생한 지시 미이행 이슈를 확인할 수 있었으며, 지시 이행성 점수가 낮게 나타난 문항은 평가 로그와 답변 로그를 면밀히 교차 분석해 지시 이행 저하의 구체적인 패턴을 파악했습니다. 이러한 분석 결과를 개선 포인트로 삼아, 믿:음 K 모델의 품질을 한 단계 끌어올릴 수 있었습니다. 이 사례를 통해, 모델의 품질을 평가할 때에 정확성 뿐만 아니라 ‘사용자의 요청을 얼마나 충실히 이행했는가’ 라는 관점이 반드시 포함되어야 하고, 휴먼 평가가 이를 점검하는 가장 효과적인 방법이라는 점을 다시 한 번 확인할 수 있었습니다.

휴먼 평가는 단순히 연구 목적을 넘어 모델의 실제 활용 맥락을 잘 반영하는 품질 검증의 핵심 도구로 활용되고 있습니다. 하지만 사람에 의존한다는 특성상 시간과 비용 부담이 크고, 평가자의 피로도나 편향에 따라 결과가 흔들릴 수 있다는 일관성과 효율성 측면의 한계도 분명 존재합니다. 따라서 실제로 휴먼 평가를 실무에서 지속적으로 활용하기 위해서는 평가 지표와 가이드라인을 목적에 맞게 최적화하고, 평가 프로세스 자체를 효율적으로 설계하여, 반복 가능한 방식으로 운영하는 것이 중요합니다.

이러한 과정을 더 정교하고 효율적으로 운영하기 위한 시도로, 최근에는 LLM Judge 방법론이 떠오르고 있습니다. LLM Judge는 대규모 언어 모델을 평가자로 활용하는 방식을 의미하며, 특히 인간의 판단에 가까운 평가를 재현할 수 있다는 가능성 때문에 활발히 연구되고 있습니다. 평가 비용과 시간을 크게 줄일 수 있을 뿐만 아니라, 사람이 놓치기 쉬운 세부적인 오류나 패턴을 포착할 수 있다는 점에서 실용적 가치가 큽니다. 다만 LLM Judge 역시 완벽하지 않습니다. 모델 고유의 편향과 오류에서 자유롭지 않기 때문에 완전히 독립적인 평가자로 신뢰하기는 어렵습니다.

따라서 앞으로는 LLM Judge와 휴먼 평가의 결합이 중요한 방향이 될 것입니다. LLM Judge는 평가자의 피드백을 보조하거나, LLM Judge가 초기에 대규모 답변을 필터링한 뒤 핵심 문항에 대해서만 휴먼 평가를 수행하면, 비용에 대한 부담을 줄이고 품질 관리에 도움을 주어 평가의 신뢰성을 확보할 수 있습니다. 궁극적으로 인간 평가자와 LLM Judge의 조합을 통해 효율성과 신뢰성의 균형을 맞추는 문제라고 할 수 있습니다. 이와 동시에 평가 지표 설계, 가이드라인 정교화, 평가자 교육 및 관리 체계를 꾸준히 개선한다면, 휴먼 평가와 LLM Judge평가가 상호 보완적으로 작동하는 구조를 만들 수 있을 것입니다.

LLM의 품질 검증을 위한 휴먼 평가 방법론에 대한 이야기를 어떻게 보셨나요? 이 글이 LLM 품질 검증에 많은 도움이 되었으면 합니다. 긴 글 끝까지 읽어주셔서 감사합니다!