안녕하세요. 기술혁신부문 Gen AI Lab 최하영입니다.

저는 2025년 12월 2일부터 7일까지 미국 샌디에이고에서 열린 NeurIPS 2025 (Conference on Neural Information Processing Systems)에 참석하여 연구 논문을 발표하고, AI 분야의 최신 기술 흐름을 현장에서 직접 확인할 수 있는 기회를 가졌습니다. NeurIPS는 머신러닝과 인공지능 분야를 대표하는 국제 학회로, 매년 이론 연구부터 시스템, 응용까지 폭넓은 성과가 밀도 있게 공유되는 자리입니다.

이번 학회 참석을 통해 단순히 기술이 얼마나 발전했는지 확인하는 것을 넘어, 다음 연구의 방향이 어디로 이동하고 있는지를 보다 또렷하게 체감할 수 있었습니다. 특히 대규모 모델의 성능 경쟁을 넘어 효율성, 신뢰성, 안전성, 그리고 실제 서비스 적용을 둘러싼 논의가 훨씬 구체적이고 현실적으로 확장되고 있다는 점이 인상 깊었습니다. 본 글에서는 이러한 관찰을 바탕으로 NeurIPS 2025의 주요 특징과 발표한 논문과 함께 연구 트렌드를 소개하고, 향후 연구 방향에 대한 시사점을 공유하고자 합니다.

1. 📚 학회 소개 

NeurIPS (Conference on Neural Information Processing Systems)는 딥러닝과 머신러닝을 중심으로 모델, 이론, 시스템, 응용은 물론 윤리와 안전까지 AI 연구 전반을 아우르는 대표 학회입니다. 학계뿐 아니라 글로벌 빅테크와 스타트업이 대거 참여하며, 새로운 기술이 연구 단계를 넘어 실제 표준으로 정착해 가는 흐름을 가장 가까이에서 확인할 수 있는 자리이기도 합니다.

2025년 메인 트랙에는 21,575편의 논문이 제출되었고 5,290편이 채택되어 24.52%의 채택률을 기록했습니다. 이런 규모만 보아도 올해 역시 NeurIPS가 방대한 연구 흐름이 한자리에 모이는 행사라는 점을 자연스럽게 체감할 수 있었습니다.

특히 올해는 커진 학회 규모를 현실적으로 반영해 처음으로 공식적인 2개의 물리적 개최지를 운영했다는 점이 눈에 띄었습니다. NeurIPS 2025는 샌디에이고 (12월 2–7일)를 메인 개최지로 두는 한편, 멕시코시티 (11월 30일–12월 5일)에 두 번째 현장 거점을 마련했습니다. 멕시코시티 개최는 급증한 참가 수요에 대응하고, 일부 지역 참가자들의 비자 및 이동 부담을 낮추기 위해 도입되었으며, 약 500명 규모로 운영되었습니다. 주요 프로그램을 샌디에이고와 실시간으로 연동하는 방식으로 진행되었습니다.

연구 주제 면에서도 몇 가지 흐름이 특히 선명했습니다. 먼저, LLM 연구는 단순한 성능 경쟁을 넘어 추론 능력, 장기 컨텍스트 처리, 데이터 및 학습 효율을 정교하게 다루는 접근이 늘어났습니다. 또한, Multi-modal 연구는 보다 "실전"으로 확장되는 분위기였습니다. 텍스트-이미지-오디오-비디오를 하나의 사용 시나리오로 묶어 설계하고, 그에 맞는 평가 방식까지 현실 지향적으로 재정비하려는 시도를 곳곳에서 확인할 수 있었습니다. AI Safety와 Alignment 역시 모델 설계의 기본 조건으로 자리잡아가는 흐름이 뚜렷했습니다. 마지막으로 System, Serving, Efficiency에 대한 관심이 높아졌습니다. 더 큰 모델을 만드는 것보다, 더 안정적으로 배포하고 더 잘 사용할 수 있는 방식이 중요한 연구 질문이 되고 있음을 느꼈습니다.

종합해 보면 이번 NeurIPS 2025는 “Model Scale Up”에서 “실제 적용 및 활용”으로 넘어가는 변곡점을 보여준 자리였습니다. 여전히 성능 지표는 경쟁의 척도이며, 좋은 지표를 얻는 것이 중요하나, 신뢰할 수 있고 실제 적용 가능한 형태로 기술을 완성해 가는 기술 또한 앞으로의 연구 경쟁력에서 점점 더 큰 비중을 차지하게 될 것이라는 메시지도 함께 확인할 수 있었습니다.

2. 📝 발표 논문 소개

이번 NeurIPS 2025에서 발표한 “StreamFlow: Streaming Audio Generation from Neural Codec Tokens via Streaming Flow Matching / 최하영 (KT), 이상훈 (아주대)" 연구 논문을 아래와 같이 소개드리겠습니다.

2-1. Motivation & Challenge: 코덱 토큰 기반 오디오 생성의 ‘실시간 공백’

최근 신경 음성 코덱 (Neural Audio Codec)은 음성을 저비트레이트의 이산 토큰으로 압축함으로써, 음성 생성과 이해를 하나의 토큰 공간으로 연결하고 다양한 음성 생성 파이프라인에서 효율성과 품질의 균형을 가능하게 하며, 멀티모달 모델이 음성을 다루는 방식에도 중요한 역할을 하고 있습니다.

그러나 실제 서비스 환경에서 요구되는 프레임 단위의 저지연 스트리밍 생성 관점에서는 아직 구조적인 한계가 존재했습니다. 기존 Conditional Flow Matching (CFM) 기반 디코더는 고음질 생성 능력이 우수함에도, multi-step iterative sampling과 chunk-wise 기반 생성에 의존하는 경우가 많아 진정한 frame-synchronous streaming을 구현하기 어렵다는 한계가 있었습니다. 

또 다른 문제는 품질 측면에서 나타납니다. 코덱 토큰은 압축 효율이 높은 대신, 이 토큰으로부터 24kHz~48kHz 수준의 고해상도 파형을 복원할 때 시간축 중간 구간을 단계적으로 보완해 주는 과정이 충분하지 않아 세부 음질과 국소적 일관성이 흔들릴 수 있습니다. 특히, 스트리밍 시나리오에서는 이러한 품질 저하가 사용자 경험에 더 직접적으로 드러날 수 있기 때문에, 단순한 오프라인 복원 방식만으로는 한계가 있었고 스트리밍 환경에 맞춘 추가적인 설계가 필요했습니다.

2-2. 해결책: Streaming Flow Matching 기반 StreamFlow 제안

본 연구는 이러한 한계를 해결하기 위해 StreamFlow를 제안하였습니다. StreamFlow의 중심에는 Streaming Flow Matching (SFM)이라는 새로운 학습 및 추론 설계가 있습니다. SFM의 핵심 아이디어는 이미 생성된 토큰을 self-conditioned context로 사용하고, 현재 스트리밍 윈도우에 대해 한 번의 forward에서 서로 다른 시간 스텝의 vector field를 동시에 예측하도록 만드는 것입니다. 즉, 기존 CFM이 전체 시퀀스에 대해 시간축을 따라 반복적으로 추정하고 샘플링했다면, SFM은 “현재 필요한 구간”을 중심으로 multi-time 예측을 묶어 수행함으로써 토큰 단위의 저지연 스트리밍 생성을 직접적으로 지원하도록 설계했습니다. 

또한 본 연구는 스트리밍 환경에서의 학습 안정성과 일반화 성능을 보완하기 위해 Scale-DiT (Scale-Diffusion Transformer) 아키텍처를 함께 제안합니다. Scale-DiT는 residual–feature 차이를 모델링한 뒤 정규화하고 스케일링하여 skip connection 전에 반영하는 방식으로, 모델 크기를 크게 늘리지 않으면서 DiT 기반 오디오 생성의 표현 안정성과 견고함을 개선하는 방향을 제시합니다.  

2-3. 학습 방식: 인과적 스트리밍 조건과 고음질 복원의 결합

StreamFlow의 학습 전략은 스트리밍 조건을 명시적으로 반영한 2단계 접근으로 구성됩니다. 첫 단계인 SFM 사전학습에서는 과거 컨텍스트를 고정하고 현재 스트리밍 윈도우를 마스킹하는 causal noising을 적용해, 모델이 엄격한 인과적 (causal) 표현을 학습하도록 설계했습니다. 이는 추론 시에도 자연스럽게 연결됩니다. 새로 생성된 프레임을 컨텍스트로 앞에 붙이며 윈도우를 전진시키는 방식으로, 연속적이고 프레임 정렬된 스트리밍 생성을 가능하게 합니다.

두 번째 단계에서는 고음질 파형 복원을 위해 adversarial fine-tuning을 수행합니다. 본 연구는 다중 판별기를 처음부터 함께 학습할 경우 학습 시간이 과도하고 loss 최적화가 어렵다는 점을 고려해, 먼저 SFM 목적식으로 StreamFlow를 사전 학습한 뒤 adversarial 학습을 추가하는 2단계 전략을 채택했습니다. Fine-tuning 단계에서는 서로 다른 음질 요소를 보완하기 위해 세 가지 판별기를 결합했습니다. Multi-Period Discriminator (MPD)는 음성의 다양한 주기성 특징을 반영하고, Multi-Scale STFT Discriminator (MS-STFTD)는 여러 STFT 설정에서의 magnitude/phase 기반 시간-주파수 구조를 강화합니다. 또한 Multi-Scale Sub-Band Constant-Q Transform Discriminator (MS-SB-CQTD)는 세부 주파수 성분을 더 정밀하게 반영해 고해상도 음질을 보완합니다. 여기에 multi-scale STFT loss를 함께 사용하여 스펙트럼 정합성을 안정적으로 유지하도록 구성했습니다.   

특히 실시간 시스템 관점에서 중요한 또 하나의 선택은 파형 변환 경로의 재설계입니다. 본 연구는 STFT/iSTFT를 WaveNeXt 기반 linear-reshape 변환으로 대체하여, 기존 방식에서 발생할 수 있는 큰 receptive field와 미래 프레임 의존성을 줄이고 효율적인 인과적 스트리밍 생성을 가능하게 했습니다. 아울러 reshape된 파형을 Scale-DiT feature space로 투영하고 다시 원 공간으로 복원하는 구조를 적용하되, 샘플링 단계에서 추가 연산이나 미래 프레임이 필요하지 않도록 설계해 스트리밍 환경에 보다 적합한 변환 경로를 제시합니다

2-4. 멀티모달·Speech LLM 시대의 스트리밍 디코더

본 연구는 단순히 새로운 디코더를 제안하는 데 그치지 않고, 코덱 토큰 기반 음성 생성 스택을 스트리밍 관점에서 재구성할 수 있는 구체적 설계 방향을 제시했다는 점에서 의미가 있습니다. EnCodec과 Mimi 토큰 복원 실험을 통해 StreamFlow가 스트리밍과 고음질 복원을 함께 고려한 구조로 동작함을 확인했으며, 이는 실시간 스트리밍 코덱 토큰 디코딩이 실제 서비스 환경으로 확장되는 과정에서 필요한 기술적 기반을 제공한다는 점에서 시사점이 있습니다.

본 연구는 fully-duplex 스트리밍 SpeechLM 파이프라인 (Moshi)에서 기존 Mimi 디코더를 StreamFlow로 대체하는 시나리오를 통해, 실제 시스템 수준에서의 결합 가능성도 함께 점검했습니다. 이는 앞으로 멀티모달 LLM, speech LLM agent, 실시간 음성 인터랙션이 확장되는 과정에서 speech decoder 자체가 스트리밍 친화적으로 설계되어야 한다는 요구와 맞닿아 있으며, 코덱 토큰을 지연 없이 고품질 파형으로 변환하는 마지막 단계의 병목을 줄이는 방향을 제시합니다.

• 실시간 음성 인터랙션 품질 개선: 사용자와의 대화가 길어지고 상호작용이 촘촘해질수록, 음성 생성 지연은 서비스 경험에 더 직접적인 영향을 줄 수 있습니다. StreamFlow는 코덱 토큰 기반의 프레임 단위 스트리밍 복원을 지향함으로써, 실시간 음성 인터페이스에서 요구되는 응답성과 자연스러움 사이의 균형을 보다 안정적으로 확보할 수 있는 방향을 제시합니다.

• 스트리밍 TTS/음성 변환의 공통 디코더 방향성: 실시간 TTS뿐 아니라 스트리밍 음성 변환, 대화형 음성 UI, speech LLM agent 기반 인터랙션 등은 모두 고음질과 저지연을 동시에 만족해야 한다는 공통 조건을 공유합니다. 본 연구가 제안한 SFM, Scale-DiT, 스트리밍 친화적 파형 변환, 2단계 학습 전략은 이러한 요구를 하나의 설계 흐름으로 묶어, 다양한 실시간 음성 시나리오에서 일관된 디코더 구성 방향으로 참고될 수 있습니다.

결론적으로 StreamFlow는 코덱 토큰 디코딩을 오프라인 중심의 복원 문제에서 실시간 상호작용을 위한 생성 문제로 확장해 해석할 수 있는 접근을 제시한 연구라고 정리할 수 있습니다. LLM 기반 음성 서비스와 streaming TTS, speech LLM agent 환경이 늘어날수록 스트리밍 디코더의 구조적 역할은 더 중요해질 수 있으며, 본 연구의 설계는 실시간 코덱 토큰 디코딩을 어떻게 구성할지에 대한 실용적인 참고점을 제공한다고 생각합니다.

3. 🏆 Best Paper 소개

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free 

3-1. 개요: LLM 아키텍처, 최소 수정으로 혁신을 달성하다

올해 NeurIPS 2025 Best Paper로 선정된 "Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free"는 거대 언어 모델 (LLM)의 핵심인 표준 Attention 구조를 근본적으로 해치지 않으면서도, 성능, 안정성, 장문 일반화를 동시에 개선할 수 있는 최소 변경 설계 원칙을 제시합니다. 알리바바 Qwen팀의 해당 연구는 복잡한 Attention 자체를 바꾸는 대신, 간단한 Gating 메커니즘을 적용하여 LLM 구조 설계에 있어 새로운 표준을 제시했다는 점에서 연구 커뮤니티의 큰 주목을 받고 있습니다.  

3-2. 문제 제기: 표준 Attention의 구조적 병목 현상

대규모 언어 모델의 성능을 좌우하는 핵심 부품은 여전히 어텐션입니다. 그러나 소프트맥스 어텐션이 표준이 된 지 오래됐음에도, 실제 대규모 학습과 장문 문맥 확장 환경에서는 여러 구조적 문제가 반복적으로 관찰되고 있었습니다. 학습 중 갑작스러운 불안정성 (loss spike), 비정상적으로 큰 활성값 (massive activation), 그리고 문맥의 첫 토큰에 주의가 과도하게 몰리는 attention sink 현상이 대표적입니다. 이런 현상은 특히 긴 문맥 일반화 성능을 떨어뜨리는 병목이 되기 쉽습니다. 따라서 표준 어텐션을 유지하면서도 이 모든 문제를 개선할 수 있는 최소 변경 설계 원칙이 필요한 상황이었습니다.

 3-3. 핵심 솔루션: "SDPA 출력 후 헤드별 게이트"

이 논문이 제시하는 핵심 해결책은 매우 단순하면서도 구체적인 설계 원칙을 담고 있습니다. 기존 소프트맥스 어텐션을 바꾸거나 대체하지 않고, SDPA 출력 직후에 헤드별 시그모이드 게이트를 곱하는 방식을 핵심 해법으로 제시합니다. 즉, 어텐션이 계산해낸 출력에 “이 헤드의 정보가 지금 입력에서 얼마나 유효한가”를 한 번 더 판단하는 조절 장치를 붙이는 방식입니다. 이 작은 비선형 제어가 불필요하게 커지는 활성 흐름을 완화하고, 특정 토큰에 주의가 비정상적으로 몰리는 패턴을 억제하는 데 도움을 준다는 점이 요지입니다. 결과적으로 모델은 더 안정적으로 학습되고, 긴 문맥에서도 더 균형 잡힌 주의 분배를 유지하며, 성능과 스케일링 특성까지 함께 개선되는 방향을 보여줍니다.

🎯 Gated Attention의 명확한 설계 규칙

->  SDPA (Scaled Dot-Product Attention) 출력 직후에 헤드별 시그모이드 (Sigmoid) 게이트를 곱하는 방식

이 방법만으로 성능 향상, 학습 안정화, Attention Sink 완화, 장문 일반화 개선이 동시에 관찰됩니다. 이는 어텐션 자체를 바꾸는 것이 아니라, 출력에 게이트 하나를 추가하는 최소 변경 접근으로 큰 효과를 얻는 접근입니다.

3-4. 주요 방법론 및 기술적 인사이트

저자들은 게이팅의 위치, 형태, 공유 여부를 체계적으로 바꿔가며 대규모 비교 실험을 수행했습니다. 15B급 MoE 모델과 1.7B급 Dense 모델을 대상으로 수조 토큰 규모의 학습에서 결과를 확인하며 다음과 같은 명확한 설계 결론을 제시하며, 가볍고 명확한 게이트 설계 규칙만 추가해도 LLM 스케일에서 의미 있는 개선을 얻을 수 있음을 보여주었습니다. 

최근 롱컨텍스트 경쟁이 새로운 어텐션 대안이나 완전히 다른 토큰 믹서로 확장되는 흐름 속에서, 이 논문은 표준 소프트맥스 어텐션의 수명과 확장성을 보여주었습니다. 특히 게이팅이 단순한 성능 트릭이 아니라, 비선형성과 입력 의존 희소성을 동시에 제공하는 구조적 장치라는 점을 대규모 실험으로 설득력 있게 보여준다는 데 의미가 있습니다. 실무적으로는 구현 난이도와 리스크 대비 효과가 큰 설계이므로, 대규모 학습 안정성 확보나 장문 일반화 강화가 중요한 모델에 고려해볼 수 있습니다.

• Non-linearity 강화, 표현력 보완: 게이팅 자체의 비선형적인 제어 효과는 어텐션 내부의 연속 선형 경로에 비선형성을 추가해 표현력을 보완하는 관점에서 작동합니다. 이는 모델이 복잡하고 미묘한 패턴을 학습하는 능력을 향상시킵니다.

• Sparsity 기반 제어: 게이트는 입력 의존적 (Query-dependent)으로 작동하며, 필요한 정보 흐름만 남기면서 Massive Activation과 Attention Sink를 줄이는 희소 (Sparsity) 제어에 핵심적으로 기여합니다. 이를 통해 모델은 불필요한 노이즈를 걸러내고 주요 문맥에만 집중할 수 있게 됩니다.

• 설계 최적화: 게이팅 위치 - SDPA 출력 후가 최적입니다. / 게이팅 형태- 헤드별로 독립적일 때 효과가 가장 큽니다.

4. 🏢 기업 부스 참관: 기술의 제품화와 실용적 AI 전략 

Amazon, Meta, Google, Microsoft, Qualcomm, NVIDIA, Tesla, IBM, Arm, Sony, OpenAI 등 다양한 글로벌 기업이 참여한 기업 부스는 단순히 데모를 전시하는 수준을 넘어, 최신 연구 성과와 서비스 및 제품 전략의 접점을 입체적으로 확인할 수 있는 자리였습니다. 특히, 각 회사의 연구 논문을 직접 소개하고 핵심 아이디어를 설명하는 세션이 함께 운영되어, 연구와 제품이 어떻게 연결되는지 더 명확하게 확인할 수 있었습니다.

4-1. 서비스의 핵심 동향: 멀티모달 및 물리적 AI의 확산

기업 부스에서 가장 두드러진 특징은 LLM을 넘어 멀티모달 (Multimodal) AI 기술을 활용한 다양한 서비스 시도와 물리적 AI (Physical AI)로의 연구 확산이었습니다. AI 기술의 초점이 가상 환경을 넘어 실제 물리적 세계 (Physical AI)로 확장되고 있음을 보여주듯, 로봇과 자율주행 관련 시연이 많은 이목을 끌었습니다.

멀티모달 및 물리적 AI 분야의 주요 시연 및 연구는 다음과 같습니다:

• 추론 기반의 VLA (Vision-Language-Action) 모델을 활용하여 자율주행차의 추론 및 경로 계획 능력을 강화하고, 안전성을 향상시키는 기술 공개 

• Gemini 기반의 3D 가상 세계 AI 에이전트나 파운데이션 로보틱스 모델 연구를 통해, AI가 가상 및 현실 환경에서 복잡한 작업을 수행하는 능력 시연 

• 크로스-모달 추론을 통해 지리 공간 통찰력을 얻거나, 텍스트와 이미지를 결합한 질의를 지원하는 AI 포렌식 검색 시스템 등장 

• 멀티모달 LLM의 지식을 경량 모델로 지식 증류 (Distillation)하여 자율주행 시스템에 적용하는 등, 물리적 AI의 실용화를 위한 효율화 연구 병행 
  
  

4-2. 실서비스 관점의 핵심 전략: 컴퓨팅 효율성 확보

또한 실제 상용 서비스에 요구되는 컴퓨팅 효율성 솔루션들이 강조되었습니다. 컴퓨팅 효율성 확보를 위한 핵심 전략은 다음과 같습니다:

• 온디바이스 LLM 최적화: 엣지 디바이스 환경에서 LLM의 응답 속도를 높이는 OmniDraft 같은 투기적 디코딩 기법이나, 장문맥 추론 시 메모리 사용량을 줄이는 KeyDiff와 같은 기술 발표 

• 플랫폼 및 이종 컴퓨팅 최적화: 저전력 NPU에서 DiT (Diffusion Transformer) 모델을 구동하거나, LiDAR 처리를 GPU와 NPU로 나누어 실행하는 이종 컴퓨팅 활용 사례를 통해 엣지 디바이스에서의 고성능 AI 구현 가능성 제시 

• 서버 LLM 서빙 가속화: vLLM과 클라우드 TPU의 통합, SGLang을 활용한 오픈소스 모델 서빙 가속화 등, 대규모 언어 모델의 클라우드 환경 추론 효율성을 극대화하는 솔루션 논의 

• 경량 모델 개발: 하이브리드 모델 압축을 통해 추론 속도를 높이거나, 실제 지연 시간에 최적화하여 설계된 소형 언어 모델(SLM)을 제시하는 등, 모델 자체의 근본적인 효율화 연구 

기업 부스는 급변하는 AI 기술과, 빅테크와 스타트업들에서는 최신 기술들을 어떻게 이용하고 실 서비스에 적용하는지를 느낄 수 있었습니다. 각 기업들이 연구 논문들을 설명함과 동시에 실제 상용 서비스와 플랫폼, 개발 도구들을 적극적으로 홍보하며 “연구가 어떤 형태로 제품화되고 고객 가치로 이어지는가”를 구체적으로 보여준 점이 인상적이었습니다.

5. 🧭 맺음말

NeurIPS 2025는 빠르게 변하는 AI 연구의 흐름을 현장에서 직접 확인하고, 지금 우리가 풀고 있는 문제가 어떤 방향으로 확장될 수 있는지를 다시 점검해볼 수 있었던 자리였습니다. 특히 모델 성능 개선 자체를 넘어, 실제로 필요한 연구가 무엇인지, 그리고 그 기술이 사람들의 일상과 서비스 환경에 어떤 영향을 줄 수 있는지를 더 구체적으로 바라보게 되었습니다. 다양한 연구자들과 ‘잘 되는 모델’에서 더 나아가 잘 사용할 수 있는 모델, 현실적인 지연 및 비용 조건을 만족하는 모델, 안전성과 신뢰성을 갖춘 모델에 대한 디스커션을 나누며 앞으로의 기술 개발 방향을 깊이 고민하는 계기가 되었습니다.   

또한 이번 학회에 참석하면서 같은 음성 AI 분야를 연구하는 사람들과 깊이 있는 디스커션을 나눌 수 있었고, 동시에 다른 분야의 관점에서 예상치 못한 인사이트를 얻을 수 있었다는 점도 의미 있게 남았습니다. 제가 발표한 StreamFlow는 코덱 토큰 기반 음성 생성이 실시간 상호작용 환경에서 요구하는 조건을 디코더 수준에서 어떻게 구조적으로 지원할 수 있을지 고민한 연구입니다. 멀티모달 LLM, Speech LLM Agent, Streaming TTS처럼 즉각적인 음성 응답이 중요한 서비스가 확장될수록, 이러한 디코더 설계의 중요성이 커지고 있는 것 같습니다. 이번 학회에서 얻은 인사이트들을 바탕으로, 현재 진행 중인 연구들을 더 안정적이고 실용적인 방향으로 보완하고, 실제 사용 환경에서 의미 있게 사용될 수 있도록 성능·효율·확장성 관점의 개선을 이어가고자 합니다.