안녕하세요, AI Future Lab 김은지입니다.

1편 에 이어서 중국 베이징에서 열린 Microsoft Research(이하 MSR)와의 공동 연구 워크숍에서 KT가 Microsoft Research Asia와 함께 미래 AI 연구의 방향을 함께 모색한 결과를 공유드리고자 합니다. 

2편에서는, 새로운 연구 주제 탐색을 위한 KT의 Multimodal 및 Societal 연구 분야 발표 내용을 중심으로 소개드리겠습니다. 

지난 몇 년간 AI 기술 혁신의 중심에는 대규모 언어 모델 (LLM)이 있었습니다. 텍스트를 이해하고 생성하는 언어모델의 발전은 우리 삶의 많은 부분을 변화시켰고, KT 또한 이러한 흐름 속에서 자체 개발한 독자 모델인 믿:음 K 2.0을 비롯한 K Model을 기반으로 실제 고객의 삶에 도움이 되는 다양한 AI 서비스를 운영하며 기술력을 입증해 왔습니다.

KT의 언어 모델인 믿:음 K 2.0이 텍스트를 이해하고 적절한 텍스트 응답을 생성하는 모델이라면, 다음 단계는 텍스트를 넘어 시각과 음성 정보를 함께 인식하고 이해함으로써 물리적 세계를 보다 온전히 이해하는 멀티모달 모델일 것입니다.

이를 위해 KT는 텍스트, 이미지, 음성을 동시에 이해하고, 텍스트 뿐만 아니라 음성으로도 응답을 생성할 수 있는 멀티모달 모델을 자체 개발중에 있습니다. 해당 모델은 2025년 11월 과학기술정보통신부에서 주관한 인공지능 페스타 ‘AI Festa 2025’에서 성공적으로 시연된 바 있습니다. 

하지만 현존하는 멀티모달 모델들은 여전히 해결해야 할 중요한 과제에 직면해 있습니다. 대부분의 모델은 사실 기반의 객체 인식이나 명시적인 관계 파악에는 능숙하지만, 인간 관계가 지니는 복잡한 역동성을 바탕으로 사람의 언어적·비언어적 소통을 온전히 이해하는 데에는 한계가 있기 때문입니다. 단순히 주어진 상황 속 객체와 그 관계를 인식하는 수준을 넘어, “저 사람은 지금 목이 마르지만 대화 중이라 참고 있구나”와 같이 명시적으로 드러나지 않은 숨겨진 의도와 감정, 사회적 맥락 (Social Context)을 파악하고 이에 맞춰 소통하는 능력은 향후 실세계에서 인간과 공존하는 AI 에이전트의 핵심 요소 기술이 될 것입니다.

KT는 이러한 한계를 극복하고, 시각·음성·언어·복합 센서로부터 입력되는 멀티모달 정보를 병렬적으로 처리하며, 사람의 언어적·비언어적 요소를 함께 이해해 자연스러운 사회적 상호작용을 수행하는 ‘Social Interaction Agent’ 구현을 목표로 하고 있습니다.

예를 들어, 안경 형태의 웨어러블 디바이스를 통해 입력되는 1인칭 시점 (Egocentric)의 방대한 영상 데이터를 실시간으로 요약·이해하고, 사용자의 장기적인 맥락을 기억 (Long-term Memory)하며, 필요 시 선제적으로 도움을 제공하는 AI 시나리오를 그려볼 수 있습니다.

이러한 방향성 아래, 본 연구진은 Microsoft Research와의 베이징 워크샵을 통해 긴밀한 기술적 교류를 진행하였으며, Multimodal 세션에서 MSR 연구진이 소개한 Video World Model 관련 연구를 기반으로 한 장기 맥락 비디오 분석 및 이해 분야에서의 선도적인 연구 노하우와 방법론 관련해서도 적극 협력을 이어갈 예정입니다. 

KT는 단순한 기술의 발전을 넘어, 인간을 더 깊이 이해하고 사회적으로 교감할 수 있는 AI를 향해 나아가고자 합니다. 앞으로 펼쳐질 Multimodal Social Interaction Agent의 미래를 기대해 주세요! 

연구 주제 탐색을 위한 두번째 세션인 Societal AI 세션에서 KT는 Societal and Physical AI를 공동 연구 주제로 제안하고 연구 방향과 방법론을 탐색하였습니다. 

Responsible AI의 AI Risk Identification, RAI Assessment, RAI Tools로 이어지는 파이프라인을 통해 위험을 정의하고, 평가하고, 완화하며, 운영 중 발견된 이슈를 다시 risk 정의와 평가로 순환되는 구조를 강조했습니다.

또한 기존 텍스트 중심의 위험 체계가 멀티모달로 확장되는 과정에서 추가 위험이 발생한다는 점을 공유했고, 그 연장선에서 Physical AI로의 확장을 제안했습니다. 로봇이 병원, 거리, 가정 등 인간의 공간으로 진입하는 상황에서 Safety를 물리적인 충돌 회피로만 정의할 경우, 사회 규범, 심리적 수용성, 맥락 기반 판단, 예측 불가능한 이벤트들을 충분히 설명하지 못하는 safety gap이 발생합니다. 따라서 질문을 “사고를 피할 수 있는가”에서 “사회 안에서 공존 가능한가”로 전환해야 한다고 제안했습니다. 이때, 공존은 물리적 안정성뿐 아니라 예측 가능한 행동, 상황 맥락 이해, 문제가 발생했을 때의 회복 탄력성까지 포함해야합니다.

따라서 이를 구체화하기 위해 저희는 3가지 축을 제안했습니다.

첫째, risk 정의 확장입니다. 여러 modality가 결합되고 real world에 진입하여어 발생되는 더 복잡한 risk들을 함께 정의하는 것을 제안했습니다. Malicious use, Misuse, Malfunction, Dysfunction과 같이 Societal AI를 고려한 Physical 도메인에서의 위험을 정의해야합니다.

둘째, Evaluation 설계입니다. 도메인과 서비스별 특수성을 반영한 현실 상호작용 기반 시나리오, 멀티모달 입력, 물리적 행동에 대한 평가를 포함하는 벤치마크와 복합적인 지표 기반 평가가 필요하며, 함께 개발하는 공동연구를 제안했습니다.

마지막으로는, toolkits 구축입니다. 평가가 측정에서 끝나지 않고 앞서 정의한 risk와 평가 방법을 기반으로 실제 deployment에서 동작하는 mitigation 도구로 연결되어야 하며, 사회 규범과 규제 기준에 대한 AI 모델의 safety alignment까지 지원해야 합니다.

서로 연결되어 있는 세가지 연구 주제를 공동연구하여, Physical 영역에서의 Societal AI에 함께 기여하는 것이, 저희가 궁극적으로 나아가고자 하는 방향입니다.

MSR 제안 주제와 향후 방향성

이번 Societal AI 세션을 통해 KT는 MSR과의 역할이 분명히 구분되면서도 상호 보완적이라는 점을 확인했습니다. 

KT는 Responsible AI 체계와 운영 경험을 기반으로 Societal 관점의 Physical AI 확장 프레임을 강조했으며, MSR은 Value Compass와 Culture Value Alignment LLM을 중심으로 Societal AI 연구 방향과 방법론을 소개하고 확장하는 것을 제안하면서, 사람의 상태, 가치, 문화적 맥락을 평가 가능한 형태로 구조화하는 방향을 제시했습니다.

MSR팀의 제안 발표중 인상 깊었던 부분은, Culture Value Alignment LLM이 Physical AI 공존 프레임에서 필수적인 문화 맥락 이해를 평가와 학습의 문제에 초점을 맞추어 연구했다는 점입니다. Physical AI가 실제 사회 공간에서 신뢰를 얻기 위해서는 물리적 안전뿐 아니라 문화적 적합성이 함께 고려돼야 하며, 이번 세션은 그 출발점에서 양사가 공통의 문제의식을 확인했다는 점에서 의미가 있었습니다. 또한, Value Compass가 보여준 사용자 상태 기반 적합성 평가와 Culture Value Alignment LLM이 다룬 문화 맥락 이해 및 데이터 구축 프로세스는, KT의 공존 프레임을 실제 측정 가능한 형태로 만들기 위한 핵심 요소가 될 수 있을 것으로 보여 기대가 되기도 했습니다. 

이번 워크샵에서 Physical AI 분야는 반드시 연구가 필요하고 흥미로운 주제임을 확인했으며, 이 주제에서 협업은 단기 성과형 과제라기보다 risk 정의와 evaluation 설계부터 서비스 적용까지 진행하는 장기적 관점의 연구로 논의되었다는 면에서 의의가 있었습니다.