Dev Stories

AAAI 2026 참석 후기: KT 연구논문 소개 및 AI 최신 연구 동향

안녕하세요, 기술혁신부문 Gen AI Lab 김미현입니다. 저는 Language AI 팀에서 믿:음 K 언어 모델을 개발하는 일을 하고 있습니다. 2026년 1월 20일부터 27일까지 싱가포르에서 개최된 AAAI 2026(Association for the Advancement of Artificial Intelligence Conference)에 참석하여 연구 논문을 발표하고, 인공지능 분야의 최신 기술 동향을 현장에서 직접 확인하는 기회를 가졌습니다.

이번 출장에서는 단순히 논문 발표에 그치지 않고, 전 세계 AI 연구자들과 교류하며 최신 연구 트렌드를 체감할 수 있었습니다. 특히 로봇 조작, 멀티모달 학습, 기계 망각(Machine Unlearning) 등 다양한 분야에서 실제 세계의 복잡성을 해결하려는 시도들이 인상적이었습니다. 


1. 📚학회 소개 

Group 6.png


AAAI(Association for the Advancement of Artificial Intelligence Conference)는 딥러닝과 머신러닝을 중심으로 모델, 이론, 시스템, 응용은 물론 윤리와 안전까지 AI 연구 전반을 아우르는 대표 학회입니다. 학계뿐 아니라 글로벌 빅테크가 스폰서로 참여하여, 새로운 기술이 연구 단계를 넘어 실제 표준으로 정착해 가는 흐름을 가까이에서 확인할 수 있는 자리이기도 합니다.


AAAI 2026은 40주년 기념 컨퍼런스로, 2026년 1월 20-27일 싱가포르 엑스포에서 개최되었습니다. Main Technical Track에 제출된 23,680편의 논문 중 최종적으로 4,167편만이 채택되어, 17.6%라는 매우 낮은 acceptance rate를 기록했습니다. "Creating Collaborative Bridges Within and Beyond AI"라는 테마 아래, AI 내부 분야 간 연결은 물론 AI와 사회를 잇는 다양한 연구가 발표되었으며, 특히 AI for Social Impact와 Responsible AI가 핵심 가치로 강조되었습니다. 

이번 포스트에서는 AAAI 2026에서 주목받은 Best Paper 중 흥미로운 연구 2편과 함께, KT가 중앙대와 공동으로 발표한 연구 논문을 소개하며 이번 학회에서 얻은 인사이트를 공유하고자 합니다.


2.📝발표 논문 소개 1

이번 AAAI 2026에서 발표한 "Easy to Learn, Yet Hard to Forget: Towards Robust Unlearning Under Bias" (김미현 KT, 권준형 중앙대) 연구 논문을 아래와 같이 소개해 드리겠습니다.

cupid_poster-page-001.jpg

2-1. Motivation & Challenge

 왜 이 연구가 필요한가?

기계 망각(Machine Unlearning)은 이미 학습된 AI 모델에서 특정 데이터의 영향을 제거하는 기술입니다. 


GDPR(General Data Protection Regulation, 일반정보보호 규정)의 '잊혀질 권리' 같은 프라이버시 규제가 강화되면서, 모델이 특정 데이터를 완전히 '잊을 수 있는' 능력은 이제 연구 주제를 넘어 실제 시스템이 갖춰야 할 기능이 되고 있습니다.

하지만 현실 데이터는 대부분 편향되어 있습니다. 예를 들어, “물새(waterbird)” 이미지는 거의 항상 “물(water)” 배경과 함께 등장합니다. 이런 환경에서 모델은 물새의 형태보다 물 배경 같은 지름길 단서(shortcut cue)에 먼저 의존하게 됩니다.


문제는 이런 편향된 모델에 기계망각을 적용하면, 우리가 기대한 방식으로 '망각'이  일어나지 않는다는 점입니다.


핵심 발견: "Easy to Learn, Yet Hard to Forget."


본 연구는 편향된 모델에서 기계 망각을 시도할 때 나타나는 두 가지 현상을 발견했습니다.


> 현상 1: 비대칭적 망각


첫 번째 현상은 샘플 종류에 따라 모델이 정보를 잊는 속도가 다르게 나타난다는 점입니다. 지름길 단서만으로도 쉽게 정답을 맞힐 수 있는 편향적 샘플은 학습 단계에서는 빠르게 익혀지지만, 막상 기계망각을 적용하면 그 정보가 잘 사라지지 않습니다. 반대로 지름길 단서로는 오답이 나오고, 물체의 본질적인 특징을 사용해야만 맞힐 수 있는 편향 충돌 샘플은 학습이 더 어렵게 이루어지지만, 기계 망각과정에서는 오히려 더 먼저 잊히는 경향을 보입니다.

 
그 결과 모델이 어렵게 학습한 “본질적 특징”은 쉽게 사라지고, 비교적 쉽게 습득한 “지름길 단서"는 끝까지 남는 비대칭적인 망각 구조가 형성됩니다.


> 현상 2: 역설적 Debiasing 효과


더 나아가, “물새를 잊어라”라고 했을 때 오히려 물이 아닌 배경의 물새를 더 잘 인식하는 역설적 현상도 나타납니다. 이는 모델이 “물새 개념”이 아니라, 가장 강하게 의존하던 물 배경을 먼저 지워버렸기 때문입니다.


이렇게 보면, 기존 기계망각은

  • 샘플 단위에서도 잘못된 순서로 잊고
  • 전체 모델 수준에서도 의도와 다른 방향으로 바뀌는

두 단계의 문제를 가지고 있음을 알 수 있습니다.


이는 기계망각의 목적 자체를 달성하지 못한다는 것을 의미합니다. 완전히 "클래스를 삭제했다"고 주장할 수 없으며 실제로는 편향만 재구성되는 결과를 초래합니다.


저희는 이 연구에서는 이러한 문제를 통틀어 Shortcut Unlearning(지름길 단서만 잊어버리는 현상)이라고 정의합니다.



2-2. 해결책: CUPID — 경로 단위로 분해해서 ‘지워야 할 것’만 지우기

이 문제를 해결하기 위해 CUPID(Causal Unlearning via Pathway Identification and Disentanglement)를 제안하였습니다. CUPID는 모델이 어떤 경로를 통해 예측했는지를 먼저 추정한 뒤, 경로별로 다른 방식의 unlearning을 적용합니다. 즉, 모델 전체를 균일하게 약화시키는 대신, 지름길 단서에 의존한 부분과 본질적 특징에 의존한 부분을 구분해 선택적으로 잊게 만드는 접근입니다.


이를 위해 먼저 각 샘플의 학습 시 발생하는 손실 함수의 값이 가파르게 변화하는 구간을 찾습니다. 이를 통해 모델이 쉽게 지름길 단서를 통해 처리한 샘플과 본질적 특징에 의존한 샘플을 구분합니다. 이어서 본질적 특징에 민감한 파라미터를 찾아 모델 내부의 인과관계 경로(causal pathway)를 식별합니다.


마지막으로 기계망각 시에 이 경로에 더 직접적인 업데이트를 적용하고, 지름길 단서와 관련된 경로는 과도하게 제거되지 않도록 제어합니다. 그 결과, 기존 방법처럼 지름길 단서부터 먼저 사라지는 현상을 줄이고, 지우고자 한 개념에 더 가까운 정보만 선택적으로 제거할 수 있습니다.


2-3. 결론 및 인사이트

기존 기계 망각의 방법은 잊어야 할 대상의 성능을 낮출 수는 있지만, 그 과정에서 지름길 단서부터 먼저 사라지거나 모델이 다른 편향에 더 의존하게 되는 문제가 자주 발생합니다. 즉, “잊기는 했지만 의도한 방식으로 잊은 것은 아닌” 상황이 만들어집니다.


반면 CUPID는 잊어야 할 대상을 잘 잊을 수 있는 능력과 함께 편향되거나 편향과 충돌된 샘플 간의 불균형을 줄이며 모델이 어떤 단서에 의존하고 있는지를 고려한 상태에서 정보를 제거합니다. 이는 기계 망각이 모델 내부에서 어떤 경로를 통해 학습된 정보를 제거할 것인가의 문제임을 보여줍니다.


이 관점은 실제 시스템 환경에서도 의미가 있습니다. 현실의 데이터는 복잡하고 편향이 섞여 있기 때문에, 단순히 출력 성능만으로는 “무엇이 사라졌는지”를 판단하기 어렵습니다. CUPID처럼 모델 내부의 경로를 기준으로 접근하면, 모델이 어떤 정보에 덜 의존하게 되었는지를 더 구조적으로 이해할 수 있습니다.


또한 경로별 제어는 모델 거동을 더 정밀하게 다룰 수 있게 해 줍니다. 유해 개념을 줄이거나 특정 맥락에 대한 과도한 의존을 완화하는 등, 모델의 일부 특성만 조정하고 싶을 때 전체를 다시 학습하는 대신 적용해 볼 수 있는 방향을 제시합니다. 이런 점에서 CUPID는 기계 망각을 단순한 “성능 감소”가 아니라 모델 내부 표현을 이해하고 다루는 문제로 확장한 접근으로, 대규모 모델을 운영하는 환경에서도 고려해 볼 만한 기계 망각 전략이라고 할 수 있습니다.



3.📝발표 논문 소개 2

다음으로는 AAAI 2026 Workshop on AI for Scientific Research (AI4SR)에서 발표한 "Position on LLM-Assisted Peer Review: Addressing Reviewer Gap through Mentoring and Feedback "(김미현 KT, 윤정민·권준형 중앙대) 논문을 소개해 드리겠습니다.

photo_2026-02-04_18-26-59.jpg


3-1. Motivation & Challenge

최근 AI 분야에서는 논문 제출 수가 빠르게 증가하고 있습니다. 예를 들어 NeurIPS의 경우 지난 10년간 약 10배 수준으로 늘어났지만, 이에 비해 숙련된 심사자의 수는 충분히 증가하지 못했습니다. 그 결과, 심사자 1인당 부담이 커지면서 리뷰의 깊이나 일관성이 흔들리는 문제가 지적되고 있습니다. 또한 경험이 상대적으로 적은 심사자가 빠르게 투입되면서 리뷰 품질 편차도 커지는 상황입니다.


이러한 배경에서 LLM을 활용해 자동으로 리뷰를 생성하려는 시도들이 있었지만, 사실과 다른 내용 생성, 연구 기여에 대한 피상적 이해, 요약 위주의 평가 등 한계 역시 분명했습니다. 특히 경험이 부족한 심사자가 LLM이 생성한 초안을 충분한 검토 없이 활용할 경우, 오해나 편향이 그대로 남을 수 있다는 점도 우려됩니다. 이 연구는 단순히 리뷰 속도를 높이는 것보다, 심사자의 역량을 체계적으로 지원하고 리뷰 품질을 안정적으로 개선하는 방향이 더 중요하다는 문제의식에서 출발합니다.


3-2. 해결책: AI를 이용한 교육과 피드백의 이중 시스템

본 연구는 LLM을 심사자를 대체하는 도구가 아니라, 학습과 보조를 위한 지원 수단으로 활용하는 관점을 제안합니다. 이를 위해 먼저 좋은 리뷰의 핵심 원칙 다섯 가지(Fidelity, Clarity, Fairness, Proportionality, Constructiveness)를 정리하고, 이를 기반으로 두 가지 시스템을 설계했습니다.

Mentoring System은 단계적 학습 구조를 갖습니다. 좋은 리뷰와 그렇지 않은 리뷰를 구분하는 연습에서 시작해, 결함이 있는 리뷰를 수정해보고, 마지막으로 전체 논문을 대상으로 한 리뷰 시뮬레이션을 수행합니다. 각 단계에서 LLM은 기준에 따른 피드백을 제공하며, 학습을 마친 심사자는 자신의 역량 향상을 확인할 수 있는 Reviewer Certification을 받을 수 있습니다.

Feedback System은 실제 리뷰 작성 과정에서 활용됩니다. 심사자가 작성한 초안을 입력하면, LLM이 원칙 위반 가능성이 있는 표현을 짚어주고 보다 구체적인 서술을 제안합니다. 예를 들어 “데이터셋 실험이 부족하다”는 표현에 대해, 어떤 추가 실험이나 비교가 필요한지 명확히 드러나도록 수정 방향을 제시합니다. 이러한 피드백은 비공개로 제공되며, 반영 여부는 전적으로 심사자의 판단에 맡깁니다.


3-3. 결론 및 인사이트

이러한 방법론과 AI에 대한 관점은 LLM을 전문가 양성 도구로 활용할 때 "역량 강화 → 품질 향상 → 신뢰 구축 → 지속 가능한 성장"이라는 선순환을 만들게 됩니다. 질 높은 리뷰는 연구 완성도를 높이고, 엄격한 검증을 거친 연구들이 축적되면 학술 문헌 전체의 신뢰성이 향상됩니다. 이는 차세대 AI 기술 개발의 핵심 자원이 되고, 발전된 AI는 다시 리뷰 시스템에 통합되어 향상된 분석 능력을 제공합니다. 이 선순환은 AI 연구의 품질과 신뢰성을 보장하는 구조적 메커니즘으로, 단순히 학술 생태계를 넘어 AI 기술이 사회에 안전하고 신뢰할 수 있게 배포되기 위한 필수적인 기반을 제공합니다.

"AI가 사람을 대체하는 게 아니라 증강(augment)한다"는 생각은 기업과 사회가 AI를 어떻게 활용해야 하는지에 대한 중요한 방향성을 제시합니다. LLM은 자율적 의사결정자가 아니라 전문가의 역량을 키우고 품질을 높이는 도구로 기능해야 한다는 것입니다. 예를 들어 기업에서 AI를 도입할 때, 직원을 대체하는 것이 아니라 교육과 피드백을 통해 전문성을 강화하는 방향으로 설계해야 합니다. 코드 리뷰, 기술 문서 작성, 고객 응대 등에서 AI가 "이렇게 하세요"가 아니라 "이 부분을 이렇게 개선하면 더 명확할 것 같습니다"라고 제안하고, 최종 판단은 사람이 내리도록 하는 것입니다. 이러한 방식은 효율성뿐만 아니라 전문성의 축적과 책임 있는 의사결정을 함께 가능하게 하며, AI와 인간이 협력하는 지속 가능한 활용 모델로 이어질 수 있습니다.


4. 🏆 Best Paper

4-1.ReconVLA: Reconstructive Vision-Language-Action Model as Effective Robot Perceiver


Group 4.jpg



개요

ReconVLA는 VLA(Vision-Language-Action) 모델이 로봇 조작에서 실패하는 핵심 원인을 "시각 인식(visual grounding)의 불안정성"으로 규명하고, 이를 해결하기 위해 재구성(reconstruction)을 활용한 암묵적(implicit) 시각 감독이라는 새로운 학습 패러다임을 제안한 연구입니다.

기존 VLA 연구들이 주로 "언어 지시를 잘 해석하고, 그에 맞는 행동을 잘 생성하는가"에 초점을 맞춰왔다면, ReconVLA는 한 단계 더 근본적인 질문에서 출발합니다.

로봇은 정말로 '봐야 할 것'을 보고 행동하고 있는가?
해당 연구는 VLA 모델의 내부를 들여다보기 위해, 행동을 예측하는 과정에서 시각 입력에 대한 attention map을 시각화했습니다. 그 결과, 기존 VLA들은 지시가 명확함에도 불구하고 시각 attention이 타겟 물체에 모이지 않고 장면 전체로 분산되는 경향이 강하게 관찰되었으며, 이는 곧 잘못된 물체를 집거나, 목표와 다른 위치로 이동하는 등 조작 실패로 이어진다고 주장합니다.

ReconVLA는 이러한 한계를 해결하기 위해 "attention을 직접 강제하는 방식" 대신, 조작 대상이 포함된 영역을 잠재 공간(latent space)에서 재구성하도록 학습시키는 방법을 선택했습니다. 중요한 점은, 이 재구성이 단순한 부가 과제가 아니라 모델이 스스로 '행동에 필요한 시각 정보'를 선택하도록 유도하는 학습 메커니즘으로 설계되어 있다는 것입니다.

문제 제기

그렇다면 왜 로봇이 정말로 '봐야 할 것'을 보지 못했을까요? ReconVLA가 발견한 핵심 문제는 간단합니다. 기존 VLA 모델들은 행동은 잘 만들어내지만, 정작 '어디를 봐야 하는지'를 제대로 파악하지 못한다는 것입니다. 예를 들어, "파란 블록을 집어라"라는 명령을 받으면 로봇은 움직이기는 하는데, 정작 시선은 파란 블록이 아니라 엉뚱한 곳을 보고 있습니다. 저자들이 attention map을 분석해보니, 타겟이 명확한데도 모델의 시선이 장면 전체로 흩어지거나, 심지어 관계없는 영역에 더 집중하는 경우가 많았습니다. 당연히 이런 상태에서는 여러 단계를 거쳐야 하는 복잡한 작업에서 실패가 쌓일 수밖에 없습니다.

그렇다면 기존에는 이 문제를 어떻게 풀려고 했을까요? 크게 두 가지 방법이 있었습니다. 첫 번째는 물체 탐지기로 타겟을 미리 찾아서 확대해서 보여주는 방식인데, 전체 이미지와 확대 이미지를 동시에 보여주다 보니 정보가 중복되고 모델이 여전히 어디를 집중해야 할지 혼란스러워했습니다. 두 번째는 "여기를 봐(좌표)"라고 먼저 말한 뒤 행동하는 방식인데, 좌표와 행동을 동시에 정확히 학습하기가 너무 어려워 성능이 오히려 크게 떨어졌습니다. 결국 두 방법 모두 "정답을 알려주는" 방식이었을 뿐, 모델 스스로 중요한 것을 찾아내도록 가르치지는 못했습니다. 

핵심 문제 해결 방법론

ReconVLA는 이 문제를 다르게 접근합니다: "어디를 보라고 알려주는 게 아니라, 그 영역을 다시 그려보게 만들자"는 것입니다. 모델에게 조작 대상이 포함된 영역(gaze region)을 재구성하도록 학습시키면, 그 영역을 제대로 복원하기 위해 모델은 자연스럽게 해당 영역의 세밀한 특징들을 내부적으로 학습하게 됩니다. 이는 사람의 눈이 중심부는 선명하게, 주변부는 흐리게 보는 것과 유사한 메커니즘입니다.

구체적으로 모델은 두 가지를 동시에 학습합니다. 

  • 첫째, 행동 예측에서는 기존처럼 사람의 시연 데이터를 보고 어떻게 움직일지를 배웁니다. 
  • 둘째, 시각 재구성에서는 타겟 영역의 시각 특징을 잠재 공간에서 복원하도록 훈련됩니다. 

핵심은 재구성 성능이 좋아지려면 모델이 필연적으로 타깃에 대한 세밀한 내부 표현을 만들어야 한다는 점입니다. 즉, 시각 재구성은 단순한 부가 작업이 아니라 "정확한 행동을 위해 어떤 시각 정보가 필요한지"를 모델 스스로 학습하게 만드는 간접 감독 신호입니다. 이렇게 하면 attention을 직접 라벨링할 필요 없이, 모델이 자연스럽게 중요한 시각 정보에 집중하게 됩니다.

결론 및 기술적 인사이트

저자들은 시뮬레이션과 실제 로봇 환경 모두에서 광범위한 실험을 수행하여, 해당 방법론의 우수성과 정밀 조작 능력, 그리고 학습하지 않은 타겟에 대한 일반화 능력을 입증했습니다. 특히 까다로운 "블록 쌓기" 과제와 5단계의 연속 작업에서도 높은 성능을 보였으며, 특히 학습하지 않은 새 물체를 다룰 때에도 안정적인 작동 가능성을 선보였습니다.

최근 로봇 조작 연구가 더 큰 모델과 더 많은 데이터로 확장되는 흐름 속에서, 이 연구는 "로봇이 정말로 올바른 것을 보고 있는가"라는 근본적인 질문에 답했다는 점에서 의미가 있습니다. 기존 VLA 구조를 크게 바꿀 필요가 없고, attention을 일일이 라벨링하는 수고도 필요 없습니다. 게다가 재구성 모듈은 학습 시에만 사용되고 실제 동작 시에는 제거되어 추가 연산 부담이 없습니다. 여러 단계를 거치는 조립 작업, 정밀한 집기가 필요한 의료·제조 로봇, 처음 보는 물건도 다뤄야 하는 가정용 로봇 등 다양한 실제 환경에서 바로 활용 가능한 실용적인 접근법이라고 할 수 있겠습니다.

4-2. LLM2CLIP: Powerful Language Model Unlocks Richer Cross-Modality Representation


Group 5.jpg


개요

LLM2CLIP은 CLIP의 가장 큰 약점이 "언어를 이해하는 능력"에 있다고 진단하고, 대형 언어 모델(LLM)의 힘을 빌려 이를 해결하는 효율적인 방법을 제안한 논문입니다. CLIP은 수억 장의 이미지와 텍스트 쌍을 학습해 멀티모달 이해 능력을 갖췄지만, 텍스트 인코더가 짧고 단순한 문장(최대 77 단어)에만 최적화되어 있어 복잡한 설명을 제대로 처리하지 못한다는 한계가 있었습니다. LLM2CLIP은 "CLIP을 처음부터 다시 만드는 게 아니라, LLM의 언어 능력을 최소 비용으로 이식하자"는 접근으로, 최신 CLIP 모델들 위에서 긴 설명 검색, 다국어 검색, 이미지 분할, 객체 탐지 등 다양한 작업에서 큰 성능 향상을 달성했습니다.


문제 제기

CLIP의 정확한 문제는 무엇일까요? 해당 연구는 "비전 인코더가 아니라 텍스트 인코더"라고 명확히 지적합니다. CLIP의 텍스트 인코더는 두 가지 구조적 한계를 갖고 있습니다.

  • 첫째, 표현력 부족입니다. 최대 77개 토큰 제한 때문에 "빨간 목걸이를 한 회색 고양이가 창가의 가죽 소파 왼쪽 구석에 웅크리고 있다"처럼 여러 속성과 관계가 포함된 문장을 제대로 인코딩할 수 없습니다. 
  • 둘째, 분리성 문제입니다. 길고 복잡한 캡션을 입력하면 텍스트 임베딩이 서로 뭉개져서(feature collapse) "이게 맞는 이미지인지" 구분하기 어려워집니다.

기존 해결 시도들은 왜 실패했을까요? 캡션을 요약하거나 나누는 방법은 임시방편일 뿐이었고, LLM을 직접 사용하는 방법도 LLM의 원시 임베딩이 CLIP의 contrastive learning에 적합하지 않아 오히려 성능이 떨어졌습니다. LLM이 언어는 잘 이해하지만 그 이해를 "이미지와 매칭하는 형태"로 표현하지 못한다는 뜻입니다. 저자들은 이를 "LLM 임베딩 자체를 CLIP 친화적으로 변환해야 한다"는 핵심 아이디어를 기반으로 LLM2CLIP을 제안합니다.


핵심 해결 방법론


LLM2CLIP은 두가지 단계의 접근을 통해 LLM과 CLIP의 호환성을 증폭시게 됩니다.

Stage 1: Caption Contrastive Fine-tuning (LLM 개조)
먼저 LLM을 CLIP이 이해할 수 있는 형태로 바꿔줍니다. 같은 이미지를 설명하는 여러 문장들을 "비슷한 것"으로, 다른 이미지 설명들을 "다른 것"으로 구분하도록 학습시킵니다. 이 과정에서 LLM이 문장을 처리하는 방식을 약간 조정합니다: 문장 전체를 평균 내서 사용하고, 양방향으로 문맥을 읽게 하며, LoRA로 효율적으로 학습합니다.
이 단계를 거치면 LLM이 "비슷한 의미는 가까이, 다른 의미는 멀리" 배치하는 법을 배우게 됩니다.

Stage 2: CLIP Post Fine-tuning (CLIP과 결합)
이제 준비된 LLM을 CLIP과 합치게 되는데, 이 과정에서 2가지 특이사항이 있습니다.
- 첫째, 기존 CLIP의 텍스트 인코더를 LLM으로 대체합니다.
- 둘째, LLM은 건드리지 않고 그대로 두되, 사이에 어댑터만 달아주고 CLIP의 이미지 이해 부분만 다시 학습시킵니다.

언어를 잘하는 전문가(LLM)를 데려와서, 기존 팀(CLIP)이 그 전문가와 협업하는 법을 새로 배우는 것이지요. 이러한 과정을 통해 LLM2CLIP은 CLIP과 LLM을 모두 효과적이면서 효율적으로 활용할 수 있는 방법을 제시합니다.


결론 및 기술적 인사이트

해당 연구는 다양한 실험을 통해 LLM2CLIP의 효과를 입증했습니다. 가장 눈에 띄는 건 긴 설명과 다국어 환경에서의 성능 향상입니다. 짧은 문장에서는 소폭 개선에 그쳤지만, 문장이 길고 복잡할수록 LLM의 장문 이해 능력을 활용한 성능 향상이 두드러졌습니다. 다국어 이해 능력도 인상적이었습니다. 원래 영어만 지원하던 모델에 LLM2CLIP을 적용했더니 중국어 검색 성능이 극적으로 향상되었습니다. LLM이 원래 갖고 있던 다국어 능력이 자연스럽게 CLIP으로 넘어온 것입니다. 이미지 검색뿐 아니라 객체 탐지, 이미지 분할, 멀티모달 LLM 백본 등 다양한 작업에서도 일관되게 개선되었다는 점에서, 단순히 검색만 잘하게 된 것이 아니라 이미지와 텍스트를 연결하는 공간 자체가 더 향상되었음을 보여줍니다.

최근 멀티모달 연구는 LLM의 강력한 언어 이해 능력을 활용하는 방향으로 빠르게 진화하고 있습니다. 이러한 방법론은 최신 CLIP기반 모델에 강력한 언어 이해 능력을 주입할 수 있다는 사실을 시사합니다. 이를 통해 쇼핑몰에서 "검은색 가죽 스트랩이 달린 빈티지 스타일 크로스백"처럼 상세한 설명으로 제품을 찾거나, 여러 언어로 이미지를 검색하거나, 의료 영상에서 복잡한 소견과 이미지를 매칭하는 등 길고 구체적인 텍스트와 이미지를 연결해야 하는 다양한 실무 환경에서 활용할 수 있습니다.


5. 맺음말

Group 7.jpg


이번 AAAI 2026 참가는 AI 연구가 점점 더 '현실의 복잡성'을 정면으로 다루기 시작했다는 흐름을 체감한 시간이었습니다. 

모델의 크기를 키우고 성능 지표를 높이는 것에서 나아가, 편향, 신뢰성, 인간과의 협업처럼 실제 환경에서 마주하게 되는 문제를 어떻게 구조적으로 풀 것인가에 대한 고민이 곳곳에서 드러났습니다. 이번에 소개해드린 연구들도 같은 방향 위에 있습니다. 편향된 데이터 환경에서의 기계 망각을 다룬 CUPID는 "모델이 무엇을 통해 학습했는가"를 기준으로 망각을 바라보는 관점을 제시했고, LLM 기반 리뷰 시스템은 AI를 사람을 대체하는 존재가 아니라 전문가의 역량을 보조하고 확장하는 도구로 활용하는 방향을 탐색했습니다. Best Paper로 선정된 ReconVLA와 LLM2CLIP 역시, 로봇이 정말로 무엇을 보고 행동하는지, 언어 모델의 이해 능력을 어떻게 다른 모달리티로 확장할 수 있는지처럼, 모델 내부의 표현과 동작 원리를 더 깊이 들여다보려는 시도가 인상적이었습니다.


개인적으로도 이번 학회는 "더 큰 모델"보다 "더 잘 이해하고, 더 잘 통제할 수 있는 모델"이 앞으로 중요해질 것이라는 메시지를 강하게 남겼습니다. 이는 현재 진행 중인 믿:음 K 모델 개발 방향과도 자연스럽게 맞닿아 있습니다. 단순히 성능을 높이는 것을 넘어, 모델이 어떤 정보에 의존하고 어떤 방식으로 판단하는지를 이해하고 다룰 수 있는 기술이 앞으로의 경쟁력을 좌우할 것이라고 느꼈습니다. 앞으로도 학회와 연구 현장에서 얻은 인사이트를 바탕으로, 실제 서비스 환경에서 신뢰할 수 있고 설명 가능한 AI를 만드는 데 기여할 수 있도록 노력하겠습니다. 감사합니다.

김미현

안녕하세요, 기술혁신부문 Gen AI Lab 김미현입니다. 저는 Language AI 팀에서 믿:음 K 언어 모델을 개발하는 일을 하고 있습니다.

이전 글