안녕하세요. 기술혁신부문 AI Future Lab 김대희, Agentic AI Lab의 김수빈, 이강민, 이규민입니다.

2025년 11월4일부터 9일까지, 저희는 중국 쑤저우에서 열린 자연어처리 분야의 주요 국제 학회인 EMNLP 2025 (Empirical Methods in Natural Language Processing)에 참석하여 직접 논문을 발표하는 뜻깊은 경험을 했습니다. NLP 기술의 세계적 트렌드를 파악하고 다양한 연구자들과 의견을 나누며, 앞으로 나아갈 AI 전략과 최신 기술에 대해 고민할 수 있는 소중한 시간이었습니다.

이번 글에서는 EMNLP 2025 학회에 대한 대략적인 소개와 발표한 연구 내용을 간단히 정리하고, 이어서 학회가 열린 상하이와 쑤저우에 대한 간단한 소개를 덧붙였습니다.

EMNLP(Empirical Methods in Natural Language Processing)은 자연어 처리 분야에서 가장 영향력 있는 국제 학회 중 하나로, 대규모 언어 모델(LLM), 기계번역, 정보 추출, 언어 이해, 분석·평가 등 데이터 기반 경험적 연구를 중심으로 최신 성과를 공유하는 학술 행사입니다. ACL, NAACL과 함께 NLP 3대 주요 학회로 분류되며, 매년 전 세계 연구자와 산업계 전문가가 대규모로 참여합니다.

2025년 EMNLP는 11월 4일부터 9일까지 중국 장쑤성 쑤저우에서 개최되었습니다. 올해 학회는 기조강연(Keynote), 메인 논문 구두발표와 포스터 세션, 튜토리얼, 워크숍, 데모 세션 등으로 구성되었으며, 특히 LLM 기반 추론·평가, 멀티모달 모델, 전문 도메인 NLP, 에이전트형 AI 등 최신 주제들이 폭넓게 다뤄졌습니다. 산업 전시와 데모 세션도 활발해 실제 응용 사례를 접할 수 있었고, 학계-산업계 교류가 밀도 있게 이루어진 것이 특징이었습니다.

안녕하세요. Media Agent 연구개발을 맡고 있는 김수빈입니다. 이번 학회에서 저는 MIRROR: Multimodal Cognitive Reframing Therapy for Rolling with Resistance라는 제목의 연구를 발표하였습니다.

CBT(Cognitive Behavioral Therapy)는 부정적이고 비합리적 사고로 인해 불안·우울·스트레스 등 정서적 어려움이 지속될 때, 왜곡된 생각을 보다 합리적으로 재구성해 행동 변화를 돕는 심리치료입니다. CBT는 비교적 지시적 성향을 띠기 때문에, 개입 과정에서 내담자가 부담·방어를 느껴 저항(resistance)이 발생할 수 있습니다. 특히 이러한 저항은 얼굴 표정, 한숨, 몸짓 등 다양한 비언어적 단서로 표현되며, 이를 적절히 다루지 못하면 치료적 동맹이 약화되고 치료 효과가 떨어질 수 있습니다. 그러나 기존의 텍스트 기반 CBT 모델은 이러한 비언어적 저항 신호를 인식하지 못해, 조기 문제 해결에 치중하거나 공감적 반응을 놓치는 등 저항을 효과적으로 다루지 못한다는 한계가 있습니다. 

이러한 한계를 극복하기 위해 본 연구에서는 언어적·비언어적 정보를 통합적으로 활용할 수 있는 멀티모달(multimodal) 접근을 제안하였습니다. 이를 위해 저희는 MIRROR (Multimodal Interactive Rolling with Resistance)라는 새로운 합성 데이터셋을 구축하였습니다. MIRROR는 내담자의 발화와 이에 대응하는 얼굴 표정을 쌍으로 제공하며, 인지적·정서적·행동적 저항을 포함한 다양한 유형의 저항 상황을 시뮬레이션합니다.

데이터셋 구축 과정은 (1) 텍스트 기반 CBT 데이터를 활용한 상담 대본(screenplay) 생성, (2) GPT 기반 모델을 이용한 감정적 동작 지시문(stage direction) 부여, (3) 얼굴 합성 모델(PhotoMaker)을 통한 표정 생성의 세 단계를 거칩니다. 또한 모델이 내담자의 표정에서 감정 상태를 추론하여 반응에 반영하도록 하는 Emotional Captioning 추론 기법을 도입하였습니다. 이는 VLM(Vision-Language Model) 상담 모델이 내담자 이미지를 입력받아 감정 상태를 먼저 추론한 뒤, 해당 정보를 프롬프트에 명시적으로 반영하여 이에 기반한 응답을 생성하는 기법입니다. 이를 통해 모델은 단순한 텍스트 대응을 넘어, 비언어적 단서를 고려한 공감적이고 맥락에 적합한 상담 반응을 생성할 수 있습니다.

MIRROR는 저항 상황을 다루는 최초의 멀티 모달 CBT 데이터셋이라는 점, 그리고 이를 통해 학습된 VLM 기반 상담사가 내담자와의 상호작용 측면에서 우수한 성과를 보였다는 점에서 학문적·실용적 의의가 크다고 생각합니다. 기존 연구들이 주로 텍스트 기반 상담이나 단일 이미지 수준의 감정 인식에 머물렀던 것과 달리, 본 연구는 턴 단위로 내담자 얼굴 이미지가 매핑된 대화를 구성하여 실제 상담의 동적 감정 변화를 반영하였습니다. 모델 평가 결과, MIRROR로 학습한 VLM 기반 상담사는 기존 텍스트 모델 대비 내담자와의 협력(collaboration), 정서적 유대(affective bond), 저항 관리 능력에서 우수한 성과를 보였습니다. 이는 AI 상담사가 상담 과정에서 내담자의 저항을 효과적으로 탐지·관리하며, 신뢰 기반의 치료적 관계를 형성할 수 있음을 시사합니다.

이번 포스터 발표 세션에서는 저항을 다루는 턴 단위 멀티 모달 CBT 상담 대화 데이터셋을 제시했다는 점에서 많은 연구자들의 관심을 받았습니다. 또한 다른 연구자들의 흥미로운 질의와 토론을 통해, 비언어적 단서와 정서적 맥락을 이해하는 기술의 중요성이 점점 더 커지고 있음을 실감하였습니다.

안녕하세요. AI Future Lab의 김대희입니다. 저는 이번 학회에서 법률 domain의 benchmark, reasoning, evaluation 을 포함하는 KoBLEX: Open Legal Question Answering with Multi-hop Reasoning 논문을 발표하였습니다.

대형 언어 모델은 일반 도메인에서 뛰어난 성능을 보여 왔고, 최근에는 법률·의료·교육 등 전문 분야로 빠르게 확장되고 있습니다. 하지만 위키피디아 기반의 일반 QA와 달리 이러한 전문 영역에서는 단순 정답 정확도만으로는 모델의 역량을 평가하기 어렵습니다. 실제 업무에서는 복잡한 상황 설명을 토대로 여러 규정·조항을 연결해 해석해야 하며, 이 과정에서는 전문가 수준의 해석과 추론이 필수적입니다. 그럼에도 불구하고 전문가의 지식을 반영한 ‘실용적인’ 벤치마크를 구축하는 자체가 어려워, 전문 분야 LLM 평가 연구는 상대적으로 더딘 편입니다.

법률 분야 역시 예외가 아닙니다. 기존 법률 벤치마크 대부분은 선택형 문제나 단일 조항 매칭 중심으로 구성되어 있어, 실제 법률 상담·자문에서 요구되는 개방형(open-ended) 질문이나 다중 조항 근거(multi-hop provision grounding)를 반영하지 못했습니다. 이런 방식은 모델이 ‘정확한 조항에 근거해 서술형 답변을 생성하는 능력’을 평가하기 어렵게 만듭니다. 결국 모델이 문장을 매끄럽게 생성해도, 법적 근거가 틀리거나 조항 해석이 잘못되면 실제 현장에서 활용할 수 없게 됩니다.

이러한 한계를 개선하기 위해 본 연구는 KOBLEX라는 새로운 법률 QA 벤치마크를 제안합니다. KOBLEX는 한국 법령을 기반으로, 사례 기반 시나리오–질문–정답–근거 조항으로 구성된 226개의 고품질 항목을 포함하고 있습니다. 특히 각 질문이 여러 법령 조항을 단계적으로 참조해야 풀리는 구조로 설계되어 있어, 모델의 다중 추론 능력을 실제 상황처럼 평가할 수 있습니다. 이 데이터셋은 LLM 자동 생성–전문가 검증–법률가 다중 평가를 거쳐 높은 법적 정합성과 실무성을 확보한 점에 의의가 있습니다. 

또한 본 연구는 데이터셋 뿐만 아니라, 실질적인 성능 향상을 위한 방법론인 PARSER도 함께 제안합니다. PARSER는 모델이 질문을 보고 먼저 ‘추정 조항(parametric provision)’을 생성한 뒤, 이를 기반으로 실제 법령을 다단계로 검색·선정하는 방식입니다. 이를 통해 모델이 법적 근거에 더 정확하게 접근할 수 있도록 지원합니다. 여기에 개방형 답변의 법적 타당도를 정교하게 평가하기 위한 LF-EVAL이라는 새로운 평가 지표를 도입하여, 답변이 법령에 얼마나 충실한지를 자동으로 측정할 수 있도록 하였습니다. LF-EVAL은 법률적 신뢰성(Legal Fidelity)을 평가하는 LLM-Judge 방식으로, 단순 정답 일치가 아니라 답변의 적절성·법령과의 일관성·근거 연결의 타당성을 복합적으로 반영합니다. 그 결과 기존 Exact Match 기반 지표로는 포착되지 않는 법률 영역의 특성을 반영하여 법률 전문가 평가와 매우 높은 상관관계를 보였습니다.

종합하면, 본 연구는 전문 분야 LLM 평가의 어려움을 해소하기 위해 현실적인 법률 시나리오, 근거 기반 다중 추론, 정교한 자동 평가라는 세 요소를 결합한 새로운 접근을 제시합니다. 이는 법률뿐만 아니라, 다른 전문 영역에서도 ‘실제 전문가처럼 판단하는 AI’를 구축하기 위해 어떤 평가 체계가 필요하다는 것을 보여주는 사례로도 의미가 있습니다.

2.3 [STEPER: Step-wise Knowledge Distillation for Enhancing Reasoning Ability in Multi-Step Retrieval-Augmented Language Models]

안녕하세요, B2B Agent 연구개발을 담당하는 이규민입니다. 저는 이번 EMNLP 2025에서 Multi-step RAG (a.k.a Iterative RAG) 상황에서 효과적으로 Knowledge Distillation을 하는 연구를 발표하였습니다.

최근 복잡한 질문을 해결하기 위해 대규모 언어 모델(LLM)은 강력한 추론 능력뿐만 아니라, 여러 번의 검색을 반복하며 정보를 확장해 나가는 Multi-Step RAG (a.k.a iterative RAG) 기법을 적극적으로 활용하고 있습니다. 그러나 이러한 높은 수준의 추론 능력은 대부분 매우 큰 모델에서만 나타나며, 이를 작은 모델로 효과적으로 이전하기 위한 지식 증류(Knowledge Distillation, KD) 연구가 활발하게 진행되고 있습니다. 

본 연구에서는 모델이 복잡한 질문을 해결할 때는 접근 가능한 정보의 양에 따라, 필요한 추론 능력이 계속 변화할 수 있다는 점에 주목하였습니다. 복잡한 질의의 종류 중 멀티홉 질의(Multi-hop Question)는 높은 난도의 다단계 추론을 요구하는 대표적인 유형입니다. 멀티홉 질의는 하나의 문서나 단일 사실만으로는 답변이 불가능하며, 여러 출처에서 얻은 정보를 단계적으로 연결해 나가야 해결되는 질문을 의미합니다.

StepER는 Multi-Step RAG의 추론 과정을 다음 세 단계로 구분합니다. 

1. Initialization: 최소한의 정보만을 기반으로 하는 초기 추론
2. Expansion: 이전 단계의 추론과 일관성을 유지하며 새로 얻은 정보로부터 추론 과정을 확장하는 중간 추론
3. Aggregation: 모든 정보 및 추론 과정을 종합해 최종 결론을 도출하는 최종 추론.  

각 단계에서 Teacher Model이 생성한 추론 과정(rationale)을 수집하고, 이를 First-step(초기), Mid-step(중간), Final-step(최종)으로 분류하여 단계별 추론 능력을 주입하기 위한 학습 데이터를 구성합니다. Student Model은 각 단계의 rationale을 next-token prediction 방식으로 학습하며, 단계별 난이도의 차이를 반영하기 위해 추가 학습 가중치를 도입하여 보다 효과적인 추론 능력 이전을 유도합니다.

StepER는 3개의 멀티홉 질의 데이터 셋에서 2Wiki, HotpotQA, MusiQue 기존 KD 기법을 모두 능가하는 정답 정확도를 기록했습니다. StepER에서 정의한 세 단계(Initialization–Expansion–Aggregation)에 따라 분리된 학습 데이터를 구성한 뒤, 이를 기반으로 ablation study를 수행해 단계별 기여도를 검증했습니다. G-eval을 활용한 평가에서 모든 단계의 학습 데이터를 함께 사용했을 때 가장 우수한 성능을 보였으며, 이는 StepER가 본 연구에서 구분한 reasoning 능력을 효과적으로 강화하였음을 의미합니다. 또한 StepER는 이전 단계의 context를 사용하는 방식인 IRCOT뿐만 아니라 Self-Ask 기반의 sub-question 검색 환경에서 모두 일관된 성능 향상을 보이며, 다양한 형태의 Multi-Step RAG 환경에서 높은 일반성(generality)을 입증했습니다. 

추가적으로, 생성된 rationale의 타당성(validity)을 평가하기 위해 HotpotQA의 원 질문(original question)을 두 개의 sub-question으로 나눈 SubQA 데이터로도 실험을 진행하였습니다. 생성된 rationale을 기반으로 두 개의 sub-question을 맞춘 비율인 “Sub-question Answerability”와, 원 질문을 맞춘 사례 중 sub-question을 모두 맞춘 비율인 “Reasoning Integration”을 정의하였습니다. 실험 결과, 두 지표 모두에서 가장 높은 점수를 달성하며, StepER가 단순히 정답 정확도를 높인 것이 아니라 reasoning 능력 자체가 향상되었음을 보였습니다. 

이번 연구는 고도화된 RAG 환경에서 distillation, reasoning 키워드라는 점에서 포스터 발표 때 많은 관심을 받았습니다. 작은 모델에게 단계별 reasoning 능력을 구분하여 학습하는 것은 향후 도구 기반 에이전트, 멀티 에이전트 시스템, 복잡한 계획, 추론 시스템 등 더 넓은 분야로 확장될 수 있는 잠재력도 충분하다고 판단합니다.

안녕하세요, 저는 AI 검색 기술 연구개발을 하고 있는 이강민입니다. 이번 EMNLP 2025에서 저는 MAGIC: A Multi-Hop and Graph-Based Benchmark for Inter-Context Conflicts in Retrieval-Augmented Generation이라는 연구를 발표했습니다.

본 연구는 RAG(Retrieval-Augmented Generation) 시스템에서 자주 발생하는 외부 문서 간(inter-context) 지식 충돌(knowledge conflict)을 보다 정교하게 평가할 수 있는 새로운 벤치마크를 제안합니다.

RAG에서는 하나의 질문에 대해 여러 문서가 검색되는데, 이 문서들이 서로 모순되는 사실을 포함하는 경우가 종종 발생합니다. 예를 들어, 한 문서는 “A는 B의 감독이다”라고 주장하는데 다른 문서는 “A는 감독이 아니다”라고 말하는 상황처럼, 모델이 어떤 정보를 신뢰해야 할지 판단해야 하는 문제입니다. 이러한 지식 충돌은 실제 서비스 환경에서는 매우 빈번하게 나타나지만, 기존 벤치마크는 단일 QA task에 맞춘 단순 충돌 생성이나 엔티티 치환 중심의 방식에 의존해 복잡한 충돌 양상을 충분히 반영하지 못했습니다. 특히 multi-hop reasoning이나 여러 충돌이 동시에 발생하는 구조는 기존 데이터셋에서 거의 고려되지 않아, 모델의 실질적인 충돌 탐지 능력을 평가하기 어려웠습니다. 

이러한 한계를 해결하기 위해, 본 연구에서는 지식 그래프(Knowledge Graph) 기반의 새로운 데이터 생성 프레임워크를 설계해 보다 현실적이고 구조적으로 복잡한 충돌을 체계적으로 생성했습니다.

Wikidata5M에서 seed triplet을 선정한 뒤 DFS로 주변을 확장하여 multi-hop reasoning을 자연스럽게 유도하는 subgraph를 구축하였고, 이를 기반으로 LLM few-shot prompting을 활용하여 8가지 유형의 충돌을 설계했습니다. 이 방법은 기존 엔티티 치환 기반 접근보다 훨씬 풍부하고 다양한 conflict pattern을 만들 수 있도록 합니다. 또한 생성된 triplet 정보를 자연스러운 문장 형태로 변환하기 위해 KG-to-text 변환 및 자동 검증 절차를 도입해 텍스트 품질과 충돌의 명확성을 동시에 확보했습니다. 전체 과정은 두 단계 human-in-the-loop 점검을 통해 품질이 낮은 충돌을 제거함으로써 데이터셋의 완성도를 높였습니다.

또한 본 연구는 복잡한 충돌 구조를 포함하는 데이터셋의 필요성을 고려해, 총 1,000개 이상의 충돌 context 쌍으로 구성된 MAGIC을 구축했습니다. 그중 하나인 multi-hop 충돌은 표면적으로는 모순이 없어 보이지만, 여러 hop을 따라가면 구조적 모순이 드러나는 형태로, 최신 LLM들조차 탐지에 어려움을 겪는 사례가 많았습니다.

실제 실험 결과, 기존 모델들은 평균적으로

• Identification(ID): 충돌의 존재 여부를 정확히 맞추는 능력에서 약 10% 성능 저하
• Localization(LOC): 어떤 문장이 충돌을 일으키는지 정확히 찾아내는 능력에서 약 17% 성능 저하를 보였습니다. 특히 multi-hop 및 multi-conflict 상황에서 성능 하락 폭은 더 크게 증가했습니다.

본 연구에서는 이러한 문제를 완화하기 위해 multi-step prompting 방식을 함께 제안하여, 기존의 단순 binary detection보다 대체로 안정적이고 높은 성능을 확보할 수 있음을 확인했습니다.

포스터 발표 세션에서는 많은 연구자들로부터 RAG 환경의 실제 문제를 충실히 반영했다는 점에서 좋은 반응을 얻었습니다. 특히 지식 그래프 기반 접근으로 인해 기존 엔티티 치환 방식보다 훨씬 다양한 충돌 유형을 포착할 수 있다는 점, 그리고 multi-hop reasoning과 다중 충돌 상황을 동시에 고려한 최초의 벤치마크라는 점에서 큰 관심을 받았습니다. 이는 최근 RAG 시스템이 다양한 산업 영역에서 활용되면서 지식 일관성(consistency) 문제의 중요성이 더욱 커지고 있는 흐름을 잘 반영하는 것이며, 앞으로의 충돌 탐지·해결 연구에 의미 있는 기반을 제공할 것이라고 생각합니다.

상하이와 쑤저우는 기차로 30분 정도 걸리는 가까운 도시입니다. EMNLP 개최지인 쑤저우를 가기 위해서는 상하이 공항으로 입국하여 쑤저우로 이동을 해야 합니다. 학회 마지막 날, 상하이 공항으로 향하며 짧은 시간 상하이를 둘러보았습니다.

상하이 임시정부를 직접 찾아가 보았습니다. 상하이 어느 곳보다 한국인 관광객들이 많았습니다. 내부에는 임시정부가 실제로 사용하던 집무실과 회의실, 그리고 독립운동가들이 머무르며 생활하던 작은 공간들이 보존되어 있었습니다. 벽면에는 당시 활동을 담은 사진과 문서, 주요 인물들의 기록이 전시되어 있어, 100년 전의 분위기를 느낄 수 있었습니다. 입장 후에는 사진촬영이 불가했습니다.

무엇보다도 불과 100년 전, 이 자리에서 나라의 미래를 고민하고 독립을 위해 헌신했던 분들이 제가 서있는 같은 자리에 실제로 서 있었다는 사실이 마음 깊이 와닿았습니다. 짧은 방문이었지만 감회가 남달랐고, 지금 누리는 평온한 일상이 큰 희생과 헌신 위에 쌓여 있는지 다시 한번 깊은 감사함을 느낄 수 있었습니다.

상하이를 대표하는 랜드마크인 동방명주(Oriental Pearl Tower)는 푸둥 루자쭈이 금융지구 가운데에 있습니다. 상하이 도시의 현대적 분위기를 상징하는 건물입니다. 구와 구 모양을 잇는 독특한 구조 덕분에 쉽게 찾을 수 있고, 전망대에 오르면 상하이 시내와 황푸강을 한눈에 내려다볼 수 있습니다. 특히 해 질 무렵이나 야경 시간에는 도시 전체가 불빛으로 물들어 기억 속에 오래 남을 것 같습니다.

동방명주 주변에는 볼거리와 즐길 거리가 많은데, 바로 인근에 상하이의 고층 빌딩들이 모여 있는 루자쭈이 빌딩들이 자리하고 있습니다. 상하이 타워, 상하이 월드 파이낸셜 센터, 진마오 타워 등 초고층 건물들이 나란히 서 있어 미래 도시 같은 분위기를 느낄 수 있었습니다. 건물 사이로 이어진 광장과 쇼핑몰, 레스토랑들도 잘 정비되어 있어 산책하거나 쉬어가기에도 좋았습니다. 강 맞은편으로는 상하이의 클래식한 느낌이 담긴 와이탄이 펼쳐져 있는데, 동방명주 근처에서 배를 타거나 강가 산책로를 따라 이동하면 접할 수 있습니다.

동방명주와 그 주변은 상하이의 과거와 현재, 그리고 도시의 특색까지 느낄 수 있는 곳이었습니다. 다음에 다시 방문한다면 야경뿐만 아니라 낮에 전망대에 올라가서 상하이의 분위기를 더 느껴보고 싶습니다.

상하이 황푸구(上海市 黄浦区) 옛 시가지에 위치한 유원은 판윤둔(潘允端)이 명나라 중기인 1559년 아버지의 노후를 위해 조성하기 시작해 1577년 완성된 사유 정원으로, “평안과 기쁨”을 뜻하는 ‘豫’(유)를 담고 있습니다. 약 2만 제곱미터(약 5에이커)의 부지 위에 누각, 연못, 석가산, 회랑 등이 조화롭게 배치되어 있으며, 남송강남 지역 전통정원의 양식을 대표하는 공간으로 손꼽힙니다. 현재는 국가급 보호구역으로 지정되어 있으며, 40여 개의 경관 포인트가 관광객을 맞이하고 있습니다.

정원 내부는 구역마다 구성 요소가 뚜렷하게 달랐습니다. 연못 주변에는 수초와 석가산이 조성되어 있고, 그 주변을 둘러싸는 회랑은 이동 동선이 자연스럽게 이어지도록 설계되어 있었습니다. 방문 당시에도 관광객이 많았지만, 주요 동선이 나뉘어 있어 복잡함 속에서도 공간 구조를 비교적 명확하게 파악할 수 있었습니다. 석가산과 담장, 목조 건물은 전체적으로 보존 상태가 좋아 건축·조경 요소를 관찰하는 데에도 충분했습니다.

짧은 방문이었지만, 유원은 전통 정원의 구성 방식과 건축·조경 요소를 직접 확인할 수 있는 의미 있는 장소였습니다. 다음에 다시 방문한다면, 구역별 설계 의도나 건축 양식의 차이를 좀 더 체계적으로 살펴보고 싶다는 생각이 들었습니다.

이번 EMNLP 2025 참석은 각 연구 분야의 최신 흐름을 확인하고, 현재 KT에서 진행 중인 과제들과 비교해 볼 수 있는 자리였습니다.

발표 과정에서 받은 피드백과 현장에서 얻은 정보들은 향후 업무를 정리하고 이해하는 데 도움이 될 것이라 생각합니다.

특히 다양한 연구자들의 접근 방식과 발표 방식, 그리고 논문이 실제 서비스나 프로젝트에서 어떻게 활용되고 있는지에 대한 사례들을 직접 접할 수 있었던 점이 인상적이었습니다.

이러한 경험은 앞으로 기술을 바라보는 관점이나 문제를 해결하는 방식에도 참고점이 될 것 같습니다.