안녕하세요, KT AX미래기술원 Frontier AI Lab 김현우입니다. 2026년 7월 6일부터 11일까지 서울 코엑스에서 열린 ICML 2026(International Conference on Machine Learning)에 참석해 공동 연구 논문을 발표하고, AI 분야의 최신 기술 동향을 현장에서 확인하는 기회를 가졌습니다.
이번 출장에서는 논문 발표에 그치지 않고 전 세계 연구자들과 교류하며 빠르게 변화하는 연구 흐름을 체감할 수 있었습니다. 이번 글에서는 제가 학회에서 발표한 ST-Veto를 소개하고, 인상 깊게 본 논문들을 통해 최근 연구 동향과 인사이트를 공유하려고 합니다.
1. 🏛️ 학회 소개
ICML(International Conference on Machine Learning)은 머신러닝 분야를 대표하는 국제학회입니다. 딥러닝 이론과 최적화, 강화학습, 생성형 AI와 파운데이션 모델, AI 안전성 등 이론부터 시스템과 실제 응용까지 폭넓은 연구를 다룹니다. 학계뿐만 아니라 글로벌 기업의 연구자와 엔지니어들도 활발히 참여해, 새로운 기술이 연구 단계를 넘어 실제 산업으로 확장되는 흐름을 가까이에서 확인할 수 있는 자리이기도 합니다.
제43회 ICML 2026은 2026년 7월 6일부터 11일까지 서울 코엑스에서 개최되었습니다. 올해 제출된 논문은 전년의 약 두 배인 23,918편이었으며, 이 가운데 6,352편이 채택되어 26.6%의 acceptance rate를 기록했습니다. 또한 536편이 Spotlight로 선정되었고, 이 가운데 168편에는 Oral 발표 기회가 주어졌습니다. 역대 최대 규모의 논문이 모인 만큼, 머신러닝 연구 생태계의 빠른 성장과 치열한 경쟁을 함께 체감할 수 있었습니다.
2. 📄 KT 발표 논문 소개
먼저 이번 ICML 2026 Main Conference Poster Session에서 발표한 “ST-Veto: Spatio-Temporal Token Veto for Diffusion MLLMs via Taylor Prediction and Visual Grounding” (김근태 한양대학교, 이범석 LG전자, 김현우 KT, 최용석 한양대학교)을 소개해 드리겠습니다. [Paper ]
2-1. 연구 배경과 과제: 확산형 멀티모달 모델의 추론을 어떻게 안정화할 것인가?
일반적인 autoregressive VLM은 앞에서 생성한 토큰을 조건으로 다음 토큰을 하나씩 생성합니다. 연쇄적 사고(chain-of-thought, CoT)를 통해 복잡한 추론을 수행할 수 있다는 장점이 있지만, 토큰을 순차적으로 생성하므로 지연 시간이 길고 앞부분의 오류가 이후 추론 전체로 전파되기 쉽습니다. 이미 확정된 토큰을 다시 고치기 어렵다는 점도 한계입니다.
최근 등장한 확산형 멀티모달 대규모 언어 모델(diffusion multimodal large language model, dMLLM)은 이와 다른 방식으로 동작합니다. 처음에는 답변의 여러 위치가 마스킹되어 있고, 모델은 반복적인 denoising 과정에서 여러 토큰을 병렬로 복원합니다. 매 단계마다 전체 토큰 위치를 관찰하고 아직 확정되지 않은 토큰을 다시 예측할 수 있어, 효율적인 생성과 반복적인 자기 수정 가능성을 함께 제공합니다.
그러나 기존 dMLLM의 디코딩은 대체로 현재 단계의 신뢰도가 높은 토큰부터 확정하는 방식에 의존합니다. 어떤 토큰이 지금은 높은 신뢰도를 보이더라도 시간에 따라 신뢰도가 크게 흔들리거나 이미지의 근거가 부족하다면, 그 토큰은 이후 추론을 잘못된 방향으로 이끄는 불안정한 기준점이 될 수 있습니다. 또한 autoregressive VLM을 위해 설계된 기존 CoT 기법은 앞서 생성된 추론이 고정된 문맥이라는 가정을 사용하기 때문에, 여러 위치를 동시에 수정하는 확산형 생성 과정에 그대로 적용하기 어렵습니다.
저희 연구는 여기서 다음과 같은 질문에서 출발했습니다.
“현재 순간의 신뢰도만 보지 않고, 토큰의 시간적 안정성과 이미지 근거까지 확인한 뒤 확정한다면 dMLLM의 추론을 더 신뢰할 수 있지 않을까?”
2-2. 연구 방법: Veto-and-Swap 정책
ST-Veto는 추가 학습 없이 추론 단계에서 적용할 수 있는 Veto-and-Swap 방식입니다. 기본 디코더가 선택한 고신뢰도 토큰을 바로 확정하지 않고, 시간적 안정성과 시각적 근거를 한 번 더 점검합니다. 위험한 토큰에는 거부권(veto)을 행사하고, 더 안전한 후보 토큰으로 교체(swap)하는 방식입니다.
첫 번째 기준은 시간적 안정성(temporal stability)입니다. ST-Veto는 동일한 토큰 위치에서 최근 denoising 단계 동안 신뢰도가 어떻게 변했는지를 추적하고, 2차 Taylor 근사를 이용해 다음 단계의 신뢰도를 예측합니다. 실제 신뢰도가 예측한 궤적보다 크게 낮아지면, 현재 점수가 높더라도 이후에 흔들릴 가능성이 큰 토큰으로 판단해 확정을 보류합니다. 즉, 한 시점의 점수보다 시간에 따른 신뢰도 변화까지 활용합니다.
두 번째 기준은 시각적 근거(visual grounding)입니다. 모델의 중간 layer에서 해당 토큰이 이미지 토큰에 할당한 attention 비율을 측정합니다. 언어적으로는 자연스럽고 안정적으로 보이더라도 이미지에 거의 주의를 기울이지 않은 토큰이라면, 시각 정보에 충분히 근거하지 않은 후보로 간주해 veto합니다.
마지막으로 veto된 토큰의 자리는 무조건 다른 토큰으로 채우지 않습니다. 현재 선택 경계 근처의 후보 중에서 시간적으로 안정적이면서 이미지 근거도 충분한 토큰만 골라 교체합니다. 적절한 후보가 부족하면 일부만 바꾸는 보수적인 정책을 사용합니다. 이산적인 선택만 바꾸기 때문에 모델의 logit이나 attention map을 직접 수정하는 방식보다 denoising 과정을 안정적으로 유지할 수 있습니다.
2-3. 실험 결과 및 분석
ST-Veto는 LaViDa-Reason과 MMaDA-MixCoT 두 dMLLM을 대상으로 M³CoT, MMBench, ScienceQA-IMG, V*Bench 등 네 가지 멀티모달 추론 벤치마크에서 평가했습니다. 서로 다른 출력 길이와 denoising 단계 설정에서 기본 디코딩 정책뿐 아니라 DDCoT, CCoT, SCAFFOLD, ICoT 등 기존 autoregressive VLM용 추론 기법과도 비교했습니다.
실험 결과, ST-Veto는 모든 모델·벤치마크·생성 설정에서 가장 높은 성능을 기록했으며 정확도를 최대 약 9%p 개선했습니다. 예를 들어 LaViDa의 생성 길이 256, denoising 128단계 설정에서 ScienceQA-IMG는 40.06에서 48.54로 8.48%p, MMBench는 31.55에서 38.25로 6.70%p 향상되었습니다. 반면 autoregressive 모델을 전제로 설계된 기존 CoT 방식은 dMLLM에 직접 적용했을 때 기준 성능을 일관되게 개선하지 못했습니다.
구성 요소를 하나씩 제거한 분석에서는 Taylor 기반 시간 신호와 이미지 attention 기반 공간 신호가 각각 성능 개선에 기여했으며, 두 신호를 함께 사용한 전체 ST-Veto가 가장 좋은 결과를 보였습니다. 또한 ST-Veto가 선택한 토큰은 기본 디코딩보다 전반적으로 높은 신뢰도와 이미지 attention을 유지했습니다. 실제 교체되는 토큰은 상위 후보의 약 2~7%에 불과해, 소수의 위험한 결정을 보수적으로 바로잡는 것만으로도 전체 추론 경로를 개선할 수 있음을 확인했습니다.
무엇보다 ST-Veto는 별도의 재학습이나 추가 생성 단계를 요구하지 않고, 기본 디코딩과 유사한 추론 비용으로 적용할 수 있습니다. 이는 dMLLM의 병렬성과 자기 수정 가능성을 유지하면서도, 시각적 근거와 시간적 일관성을 함께 고려하는 dMLLM 고유의 추론 제어 방식을 제시했다는 점에서 의미가 있습니다.
3. 🔍 ICML 2026 논문 소개
3-1. Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination (Vision-Language Models Oral Session) [Paper]
첫 번째로 인상 깊게 본 연구는 VLM이 추론 도중 시각 정보를 실제로 다시 확인하는지를 분석한 연구입니다. 최근 Thinking 모델은 긴 CoT를 생성하면서 계산이나 시각 정보를 스스로 점검하는 듯한 문장을 만들기도 합니다. 이 연구는 이러한 언어적 자기 점검이 실제로 이미지에 다시 attention을 기울이는 행동으로 이어지는지를 실험적으로 살펴봤습니다.
연구진은 이를 확인하기 위해 VisualSwap이라는 평가 방법을 제안했습니다. 모델이 원본 이미지와 질문을 바탕으로 추론한 뒤, 기존 추론 문맥은 유지하면서 이미지만 교체하는 방식입니다. 교체된 이미지는 전체적인 형태는 비슷하지만 정답을 결정하는 숫자, 도형, 그래프 등의 세부 정보가 다르게 구성됩니다. 모델이 새로운 시각 정보를 다시 활용한다면 변경된 내용을 반영해 답을 수정할 수 있고, 기존 추론 문맥의 영향을 더 크게 받는다면 이전 판단을 이어갈 가능성이 있습니다.
평가에는 MathVista, MathVerse, MathVision, MMMU-Pro를 바탕으로 만든 800개 이미지 쌍의 VS-Bench가 사용되었습니다. 연구진은 두 이미지의 구조적·시각적 유사도를 확인하고, 각각을 독립적으로 입력했을 때의 문제 난이도에도 큰 차이가 없는지 검증했습니다. 이를 통해 이미지 교체 전후의 변화를 시각 정보의 재확인 여부에 초점을 맞춰 살펴보고자 했습니다.
논문에서 보고한 VisualSwap 실험 범위에서는 서로 다른 계열의 15개 VLM 변형에서 이미지 교체 후 정확도가 최대 약 60%p 감소했습니다. Thinking 모델은 같은 계열의 Instruct 모델보다 감소 폭이 약 세 배 크게 나타났으며, 해당 실험에서는 모델 규모를 확장해도 이러한 감소 폭이 일관되게 줄어들지는 않았습니다. 연구진은 긴 추론 문맥이 기존 판단의 영향을 강화해 새롭게 주어진 시각 정보를 반영하기 어렵게 만들 수 있다고 해석했습니다.
한편 사용자가 새로운 대화 턴에서 이미지 재확인을 명시적으로 요청했을 때는 성능이 기본 평가에 가까운 수준으로 회복되었습니다. attention 분석에서도 모델이 스스로 재확인을 언급했을 때보다 사용자가 직접 요청했을 때 이미지 토큰에 대한 attention이 더 크게 증가하는 경향이 보고되었습니다. 제가 특히 인상 깊게 본 지점은 자연스러운 자기 점검 문장을 생성하는 능력과 실제 입력을 다시 활용하는 능력을 구분해 평가했다는 점입니다. 멀티모달 모델을 서비스에 적용할 때도 답변의 길이나 표현뿐 아니라, 판단 과정이 현재 입력에 계속 근거하고 있는지 확인하는 평가가 중요하다는 인사이트를 얻었습니다.
3-2. Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning (Robotics: Vision-Language-Action Models Oral Session) [Paper ]
두 번째로 인상 깊게 본 연구는 로봇이 새로운 작업을 순차적으로 학습할 때 이전 작업의 성능을 얼마나 유지할 수 있는지를 다룹니다. 지속 학습에서는 새로운 능력을 받아들이는 가소성과 이미 학습한 능력을 보존하는 안정성을 함께 확보하는 것이 중요합니다. 이 연구는 대규모로 사전학습된 VLA(vision-language-action)에서 catastrophic forgetting이 어떤 양상으로 나타나는지 살펴봤습니다.
기존의 로봇 지속 학습 연구는 주로 처음부터 학습한 소규모 정책 모델을 중심으로 진행되었습니다. 반면 최근의 VLA는 대규모 비전·언어 데이터와 다양한 로봇 궤적을 바탕으로 사전학습됩니다. 연구진은 이러한 사전학습이 새로운 작업을 배우는 과정에서 기존 능력을 유지하는 데 어떤 영향을 주는지를 비교 실험으로 분석했습니다.
실험에서는 사전학습 방식과 구조가 서로 다른 두 VLA와 소규모 BC-Transformer 정책을 사용했습니다. LIBERO의 네 가지 로봇 조작 작업을 순차적으로 학습시키면서 평균 성공률과 이전 작업에서의 성능 변화를 함께 측정했습니다. 학습 방법으로는 과거 작업 데이터의 일부를 replay buffer에 저장해 현재 작업 데이터와 함께 사용하는 experience replay를 적용했습니다.
논문에서 다룬 실험 설정에서는 사전학습 VLA가 이전 데이터의 약 2%를 저장한 작은 replay buffer를 사용했을 때도 여러 조건에서 이전 작업의 성능을 안정적으로 유지했습니다. 일부 조건에서는 새 작업을 학습한 뒤 과거 작업의 성능도 높아지는 긍정적 역전이(positive backward transfer)가 관찰되었습니다. 같은 구조에서 사전학습 범위를 달리한 비교에서도 사전학습된 모델이 기존 능력을 보존하면서 새로운 작업의 성공률을 함께 유지하는 경향을 보였습니다. 연구진은 이를 사전학습이 지속 학습의 안정성과 가소성에 함께 기여한 결과로 해석했습니다.
구성 요소를 교체한 추가 분석에서는 비전·언어 백본과 action head가 모두 성능 변화에 관여하는 것으로 나타났습니다. 또한 이전 작업을 다시 학습했을 때는 최초 학습에 필요했던 단계의 약 6.2~10.5%만으로 이전의 최고 성능을 회복한 사례가 보고되었습니다. 제가 이 연구에서 얻은 인사이트는 겉으로 관찰되는 성능 변화만으로 기존 지식이 완전히 사라졌다고 판단하기보다, 모델 내부에 남아 있는 정보를 다시 활용할 가능성까지 함께 살펴볼 필요가 있다는 점입니다. 실제 시스템을 설계할 때도 복잡한 지속 학습 방법을 도입하기에 앞서, 충분한 사전학습과 소규모 replay를 결합한 기준선을 먼저 검토해 볼 수 있겠다는 생각이 들었습니다.
4. 💡 맺음말
참고문헌
- Kim, Keuntae, et al. "ST-Veto: Spatio-Temporal Token Veto for Diffusion MLLMs via Taylor Prediction and Visual Grounding." arXiv preprint arXiv:2607.17884
- Shi, Chufan, et al. "Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination." arXiv preprint arXiv:2605.15864
- Liu, Huihan, et al. "Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning." arXiv preprint arXiv:2603.03818