CVPR 2026 참석 후기: KT 연구논문 소개 및 AI 최신 연구 동향

안녕하세요, AX미래기술원 Frontier AI Lab 김미현입니다. 저는 믿:음 K 언어 모델을 개발하는 일을 하고 있습니다.

2026년 6월 2일부터 7일까지 미국 덴버에서 개최된 CVPR 2026에 참석하여 KT 공동 연구 논문을 발표하고, 인공지능 분야의 최신 연구 동향을 현장에서 직접 확인하는 기회를 가졌습니다.

이번 출장에서는 단순히 논문 발표에 그치지 않고, 전 세계 AI 연구자들과 교류하며 최신 연구 흐름을 체감할 수 있었습니다. 특히 이번 CVPR 2026에서는 이미지와 비디오를 인식하는 기존 컴퓨터 비전 연구를 넘어, AI가 공간을 이해하고, 다양한 모달리티를 연결하며, 실제 환경에서 추론하고 행동하는 방향으로 연구가 확장되고 있다는 점이 인상적이었습니다.

1. 학회 소개

CVPR(Conference on Computer Vision and Pattern Recognition)은 컴퓨터 비전 및 인공지능 분야를 대표하는 국제 학회입니다. 이미지 인식, 객체 탐지, 영상 이해와 같은 전통적인 컴퓨터 비전 주제뿐 아니라, 최근에는 생성형 AI, 멀티모달 AI, 3D 비전, 로보틱스, embodied AI, agentic AI 등 차세대 지능형 시스템과 관련된 연구가 폭넓게 발표되고 있습니다.

CVPR 2026은 미국 콜로라도주 덴버의 Colorado Convention Center에서 개최되었습니다. 올해는 총 16,092편의 논문이 제출되었고, 그중 4,089편이 최종 채택되어 약 25% 수준의 경쟁률을 보였습니다. 특히 이미지·비디오 생성, 비전-언어 추론, 멀티모달 학습, 3D 비전, 의료·바이오 비전 분야에서 많은 논문이 제출되었으며, embodied intelligence와 agentic intelligence 역시 중요한 연구 흐름으로 부각되었습니다.

이번 글에서는 CVPR 2026에서 발표한 KT 공동 연구 논문 HyCal: A Training-Free Prototype Calibration Method for Cross-Discipline Few-Shot Class-Incremental Learning을 소개하고, 이어서 올해 학회에서 주목받은 주요 연구 논문을 통해 최신 AI 연구 동향과 현장에서 얻은 인사이트를 공유하고자 합니다.

2. 발표 논문 소개: HyCal

이번 CVPR 2026에서 저희는 중앙대학교, Dentium, ETRI와 공동으로 수행한 연구 논문 “HyCal: A Training-Free Prototype Calibration Method for Cross-Discipline Few-Shot Class-Incremental Learning”을 발표했습니다.

2.1 연구 배경

최근 CLIP과 같은 비전-언어 모델 (Vision-Language Model, VLM)은 이미지와 텍스트를 하나의 임베딩 공간에서 연결할 수 있어, 새로운 도메인이나 새로운 클래스를 학습하는 데 강력한 가능성을 보여주고 있습니다. 하지만 실제 환경에서 AI 모델이 마주하는 데이터는 연구실 벤치마크처럼 균형 잡혀 있지 않습니다.

예를 들어 의료 영상, 항공기 이미지, 꽃 이미지, 위성 이미지처럼 서로 성격이 다른 도메인이 순차적으로 들어오고, 각 도메인마다 클래스 수와 샘플 수가 크게 다를 수 있습니다. 어떤 도메인은 데이터가 많고 시각적 패턴이 단순하지만, 어떤 도메인은 데이터가 적고 시각적 복잡도가 높습니다.

이러한 상황에서 기존 few-shot class-incremental learning 방법들은 동일한 도메인 또는 균형 잡힌 데이터 분포를 가정하는 경우가 많아, 실제 환경의 이질성과 불균형을 충분히 반영하지 못했습니다.

2.2 문제 정의: Domain Gravity

저희는 이 문제를 Domain Gravity라고 정의했습니다. Domain Gravity는 데이터가 많거나 표현 공간에서 상대적으로 안정적인 도메인이 임베딩 공간에 더 큰 영향을 미치면서, 데이터가 적거나 복잡한 도메인의 클래스 프로토타입이 흔들리는 현상을 의미합니다.

쉽게 말해, 모델이 여러 도메인을 계속 학습하거나 새로운 클래스를 순차적으로 받아들이는 과정에서 특정 도메인의 “중력”에 끌려가듯 표현 공간이 왜곡되고, 그 결과 새로 들어온 소수 샘플 도메인이나 복잡한 도메인에서 성능이 저하되는 문제입니다.

2.3 제안 방법: HyCal

이 문제를 해결하기 위해 저희는 HyCal(Hybrid Prototype Calibration)을 제안했습니다. HyCal의 핵심은 모델을 다시 학습시키지 않고, 이미 학습된 CLIP 임베딩 공간 위에서 클래스 프로토타입을 더 안정적으로 비교하는 것입니다.

기존 방법들은 주로 하나의 거리 기준에 의존합니다. 예를 들어 cosine similarity는 두 임베딩의 방향이 얼마나 비슷한지를 잘 포착하지만, 도메인마다 분산이나 밀도가 다른 상황에서는 충분하지 않을 수 있습니다. 반대로 Mahalanobis distance는 클래스 내부의 공분산 구조를 반영할 수 있지만, 데이터가 적거나 도메인 간 차이가 큰 상황에서는 단독으로 사용하기 어렵습니다.

HyCal은 이 두 가지 기준을 함께 사용합니다.

Cosine similarity는 전역적인 방향 정렬을 반영합니다.
Mahalanobis distance는 도메인별 분산과 공분산 구조를 반영합니다.

즉, 하나의 기준으로는 놓칠 수 있는 정보를 서로 보완하도록 결합한 것입니다. 이를 통해 새 도메인이 들어올 때마다 모델 파라미터를 업데이트하지 않고도, 저장된 프로토타입과 테스트 샘플 간의 관계를 더 안정적으로 판단할 수 있습니다.

특히 HyCal은 training-free 방식이라는 점에서 의미가 있습니다. 별도의 fine-tuning, 추가 파라미터, 모델 확장 없이 frozen CLIP embedding과 거리 계산만으로 동작합니다. 따라서 실제 환경처럼 새로운 도메인과 클래스가 계속 들어오는 상황에서도 효율적으로 적용할 수 있습니다.

2.4 연구 결과 및 시사점

HyCal은 cross-discipline few-shot continual learning 상황에서 기존 방법보다 안정적인 성능을 보였고, 특히 데이터 불균형과 도메인 이질성이 큰 환경에서 Domain Gravity를 완화하는 효과를 확인했습니다.

이 연구는 단순히 새로운 알고리즘을 제안하는 것을 넘어, 실제 AI 서비스 환경에서 중요한 질문을 던집니다.

AI 모델은 새로운 데이터를 계속 받아들이면서도, 기존에 배운 지식을 얼마나 안정적으로 유지할 수 있는가?

현실의 서비스 데이터는 균일하지 않습니다. 고객 도메인, 산업 도메인, 사용 맥락에 따라 데이터의 양과 복잡도는 계속 달라집니다. 이런 환경에서는 모델을 매번 크게 재학습하는 방식보다, 이미 확보한 표현 공간을 효율적으로 활용하면서 안정적으로 보정하는 기술이 중요해질 수 있습니다.

HyCal은 이러한 관점에서 대규모 모델을 운영하는 환경에서도 효율성과 안정성을 함께 고려할 수 있는 방향을 제시한 연구라고 할 수 있습니다.

3. CVPR 2026 주요 연구 트렌드

이번 CVPR 2026에서 가장 크게 느낀 흐름은 비전 모델이 단순 인식 모델을 넘어 실제 세계를 이해하고 조작 가능한 형태로 재구성하는 방향으로 진화하고 있다는 점이었습니다.

특히 다음과 같은 연구 주제가 많은 관심을 받았습니다.

3D/4D reconstruction
Spatial intelligence
Vision-language-action model
Embodied AI
Agentic AI
신뢰성 있고 효율적인 멀티모달 모델

이 중에서도 올해 주목받은 논문들을 통해 몇 가지 흐름을 소개하고자 합니다.

4-1. 주요 논문 소개 1: D4RT

Efficiently Reconstructing Dynamic Scenes One D4RT at a Time

CVPR 2026 Best Paper로 선정된 “Efficiently Reconstructing Dynamic Scenes One D4RT at a Time”은 비디오로부터 동적인 4D 장면의 geometry와 motion을 효율적으로 재구성하는 연구입니다.

기존의 3D/4D reconstruction 연구는 장면의 깊이, 카메라 위치, 시간에 따른 움직임, 점 간 대응 관계를 각각 복잡한 파이프라인으로 추정하는 경우가 많았습니다. 하지만 실제 세계는 정적이지 않습니다. 사람과 물체가 움직이고, 카메라도 함께 이동하며, 장면은 시간에 따라 계속 변화합니다.

이러한 복잡한 동적 환경을 이해하려면 단일 이미지나 정적인 3D 구조를 넘어, 시간까지 포함한 4D 표현이 필요합니다.

D4RT는 이 문제를 하나의 통합된 transformer 기반 구조로 접근합니다. 입력 비디오에서 depth, spatio-temporal correspondence, camera parameter를 함께 추정하고, 특정 시공간 지점의 3D 위치를 효율적으로 질의할 수 있도록 설계되었습니다.

핵심은 여러 개의 task-specific decoder를 따로 두는 대신, 하나의 unified decoding interface를 통해 필요한 정보를 가볍고 확장성 있게 추출한다는 점입니다.

이 연구가 인상적인 이유는 “AI가 세계를 본다”는 의미가 단순히 이미지를 분류하거나 객체를 찾는 수준을 넘어가고 있음을 보여주기 때문입니다. 앞으로의 AI는 움직이는 환경 속에서 물체와 공간의 관계를 이해하고, 시간에 따른 변화를 예측하며, 이를 로보틱스나 자율주행, AR/VR, 디지털 트윈과 같은 실제 응용으로 연결해야 합니다.

D4RT는 이러한 spatial intelligence 방향을 잘 보여주는 연구였습니다.

4-2. 주요 논문 소개 2: SAM 3D

SAM 3D: 3Dfy Anything in Images

또 하나 주목할 만한 연구는 Best Paper Honorable Mention으로 선정된 “SAM 3D: 3Dfy Anything in Images”입니다. SAM 3D는 단일 이미지에서 객체의 geometry, texture, layout을 예측하여 3D 객체를 복원하는 생성 모델입니다.

기존 3D reconstruction 연구는 정제된 데이터나 제한된 환경에서는 좋은 결과를 보였지만, 실제 이미지처럼 occlusion이 많고 배경이 복잡하며 객체가 다양한 형태로 등장하는 상황에서는 한계가 있었습니다.

SAM 3D는 이러한 문제를 해결하기 위해 대규모 visually grounded 3D reconstruction 데이터를 구축하고, synthetic pretraining과 real-world alignment를 결합한 multi-stage training framework를 사용합니다.

특히 이 연구는 단순히 “2D 이미지를 3D로 바꾼다”는 기술적 흥미를 넘어, 실제 세계의 사물을 AI가 조작 가능한 3D 자산으로 이해하는 방향을 보여줍니다. 한 장의 이미지로부터 물체의 형태와 질감, 공간적 배치를 복원할 수 있다면, 로보틱스, 콘텐츠 생성, AR/VR, 시뮬레이션, 제조·디자인 등 다양한 산업 영역에서 활용 가능성이 커집니다.

D4RT와 SAM 3D를 함께 보면 CVPR 2026의 중요한 흐름을 읽을 수 있습니다. AI는 더 이상 2D 이미지 안에서만 동작하는 모델이 아니라, 실제 세계의 구조와 움직임을 3D/4D로 이해하고 재구성하는 방향으로 발전하고 있습니다. 이는 향후 AI가 물리적 환경과 상호작용하는 데 필요한 핵심 기반 기술이 될 것입니다.

5. AI와 예술: 컴퓨터 비전이 만든 새로운 창작 경험

이번 CVPR 2026에서 인상적이었던 또 하나의 흐름은 AI와 예술의 결합이었습니다. CVPR은 컴퓨터 비전 분야의 대표 학회이지만, 최근에는 이미지 생성, 영상 생성, 비전-언어 모델, 3D 복원, 인식 시스템 등이 발전하면서 예술·디자인·문화적 경험과의 접점도 빠르게 넓어지고 있습니다.

CVPR 2026에서는 별도의 Art Program이 운영되었으며, 올해는 총 265개의 제출작 중 114개의 작품이 선정되어 온라인 갤러리와 현장 전시를 통해 소개되었습니다. CVPR Art Gallery는 생성 모델이나 인식 시스템 등 컴퓨터 비전 기술을 활용하거나, 반대로 그러한 기술을 비판적으로 질문하는 작품들을 함께 다룹니다. 작품들은 미학(Aesthetics), 환경(Environment), 정체성(Identity)과 같은 범주에서 AI가 시각 세계를 어떻게 해석하고 재구성하는지 보여주었습니다.

현장에서 직접 체험한 전시 중 하나는 전통 회화의 시각적 요소와 디지털 인터페이스가 결합된 형태였습니다. 관람자는 화면 속에서 특정 시각 요소를 손글씨로 입력을 제공하고, 시스템은 이를 바탕으로 회화적 구성을 생성하거나 변형하는 방식으로 작동했습니다. 이는 생성형 AI가 단순히 이미지를 출력하는 기술이 아니라, 사용자의 선택과 상호작용을 통해 결과물이 달라지는 interactive creative system으로 발전하고 있음을 보여주었습니다.

특히 이러한 전시는 컴퓨터 비전 연구가 단순히 이미지를 “정확히 인식하는” 문제를 넘어, 시각적 스타일, 구성, 의미, 문화적 맥락을 함께 다루는 방향으로 확장되고 있음을 보여줍니다. 예술 작품은 일반적인 자연 이미지와 달리 추상화, 상징, 감정, 시대적 맥락이 강하게 반영됩니다. 따라서 AI가 예술을 이해하거나 생성하기 위해서는 객체 인식 능력뿐 아니라, 시각적 표현과 인간의 해석 방식까지 함께 고려해야 합니다.

두 번째로 인상 깊었던 작품은 Avital Meshi와 Dorte Bjerre Jensen의 Rest!였습니다. 이 작품은 매트리스 위에 누운 수행자가 휴식을 시도하는 동안, AI 시스템이 신체 자세와 움직임을 관찰하고 음성 지시를 생성하는 퍼포먼스형 작품입니다.

겉으로는 휴식을 돕는 안내처럼 보이지만, 시간이 지날수록 AI의 지시는 점차 개입적이고 권위적으로 느껴집니다. 이를 통해 작품은 “휴식”처럼 매우 주관적이고 인간적인 상태를 AI가 과연 시각 정보만으로 이해하고 판단할 수 있는지 질문합니다.

특히 이 작품은 컴퓨터 비전 기술이 사람의 자세, 행동, 감정 등을 분석하는 데 활용될 수 있지만, 그러한 분석이 인간의 실제 경험을 항상 정확히 반영하는 것은 아니라는 점을 보여줍니다. AI가 인간의 상태를 해석하고 안내하는 시스템으로 확장될수록, 성능뿐 아니라 인간 경험에 대한 이해와 기술의 개입 범위도 함께 고민해야 한다는 점을 느낄 수 있었습니다.

6. 현장에서 느낀 AI 연구 방향

이번 CVPR 2026을 통해 느낀 가장 큰 변화는 컴퓨터 비전 연구의 중심이 “잘 보는 모델”에서 “보고, 이해하고, 추론하고, 행동할 수 있는 모델”로 이동하고 있다는 점입니다.

첫째, 멀티모달 학습과 비전-언어 추론이 더욱 중요해지고 있습니다. 이미지를 설명하는 수준을 넘어, 시각 정보와 언어 정보를 함께 이해하고 복잡한 상황을 추론하는 연구가 활발했습니다. 이는 언어 모델을 개발하는 입장에서도 중요한 시사점을 줍니다. 앞으로의 AI는 텍스트만 잘 처리하는 모델이 아니라, 다양한 입력을 연결하고 일관된 reasoning을 수행하는 모델로 확장되어야 하기 때문입니다.

둘째, 3D/4D spatial intelligence가 주요 연구 축으로 부상하고 있습니다. 단일 이미지나 영상 속 객체를 인식하는 데서 나아가, 공간 구조와 시간적 변화를 이해하는 연구들이 주목받았습니다. 이는 로보틱스, 자율주행, 제조, 네트워크 운영, 디지털 트윈 등 실제 산업 문제와도 직접적으로 연결될 수 있습니다.

셋째, 효율성과 신뢰성이 함께 중요해지고 있습니다. HyCal처럼 모델을 매번 다시 학습하지 않고도 새로운 도메인에 적응하는 방법, D4RT처럼 복잡한 reconstruction 문제를 더 효율적으로 푸는 방법, SAM 3D처럼 실제 이미지 환경에서도 강건하게 동작하는 방법 모두 같은 방향성을 보여줍니다.

AI가 실제 서비스로 확장되기 위해서는 성능뿐 아니라 비용, 안정성, 확장성까지 함께 고려해야 합니다.

7. 마치며

이번 CVPR 2026 참가는 AI 연구가 실제 세계의 복잡성을 더 정면으로 다루기 시작했다는 점을 체감한 시간이었습니다. 이미지와 텍스트를 연결하는 수준을 넘어, 공간을 이해하고, 시간에 따른 변화를 추론하며, 새로운 도메인에 효율적으로 적응하는 연구들이 빠르게 발전하고 있었습니다.

개인적으로도 이번 학회는 믿:음 K 모델 개발 방향을 다시 생각해보는 계기가 되었습니다. 현재 언어 모델 개발은 텍스트 성능 향상에 집중되어 있지만, 앞으로의 AI 경쟁력은 언어, 비전, 공간, 행동을 연결하는 통합적 지능으로 확장될 가능성이 큽니다.

특히 실제 고객과 산업 현장에서 사용되는 AI는 단순히 좋은 benchmark 성능을 내는 것을 넘어, 변화하는 데이터와 환경 속에서도 안정적으로 동작해야 합니다. 이번 CVPR 2026에서 확인한 멀티모달 추론, spatial intelligence, 효율적인 continual learning 연구들은 이러한 방향성과 맞닿아 있었습니다.

앞으로도 학회와 연구 현장에서 얻은 인사이트를 바탕으로, 믿:음 K가 한국어 언어 모델을 넘어 실제 고객과 산업 현장에서 신뢰받는 AI 기술로 확장될 수 있도록 기여하겠습니다. 감사합니다.