안녕하세요. Decision Intelligence Lab 문준희, AI Future Lab 이상원, Agentic AI Lab 신나라, 유주원 입니다. 

이번 Microsoft Ignite 2025 현장 참여를 통해 각자 업무와 연관된 Data, Physical AI, Agent, RAG 관점에서 인상 깊게 느낀 기술 흐름과 변화의 방향성을 함께 공유 드리고자 합니다.

 

현장 분위기: “17,000명이 모였던 뜨거운 열기”

KeyNote

Frontier Firms가 되기 위해 AI를 기존 업무에 덧칠하는 과거의 DX에서 업무 흐름 속에 녹아든 AI, 누구나 만드는 AI, 관측·통제 가능한 AI를 전략으로 조직의 업무 생태계를 재설계를 촉구하였습니다. 많은 기업들이 AI를 도입하려 하지만 AI 프로젝트가 흔히 실패는 이유로 4가지를 지목했습니다.

성공을 위해 “AI를 사람의 야망 흐름에 넣기(Redefine Workflow with AI)” 관점으로, 기존 도구(Outlook, Word, Excel, PowerPoint, Teams, 개발 툴 등) 안에 AI를 녹이고, 사용자들이 익숙한 흐름을 유지한 채로 AI를 활용하도록 설계할 것을 제안하였습니다. 이를 위해 지능 계층(IQ 레이어)” 개념이 제시되었고, 구체적으로 다음과 같은 구조가 소개되었습니다.

또한, Microsoft는 단순히 AI 기능을 추가하는 것이 아니라, 비개발자도 로우코드/노코드 방식으로 업무용 앱이나 에이전트를 만들 수 있는 환경(Copilot Studio, Application Builder 등)을 제공하겠다는 방향을 보였습니다. 이를 통해 현업 사용자 중심으로 업무 자동화, 커스터마이즈된 툴 생성이 가능해진다고 소개하며, 실제 산업 JAVA, Epic, 벤츠 등의 사례를 보여주었습니다.

[Data] Connect to and Manage any data, anywhere in Microsoft OneLake

Microsoft Fabric 및 OneLake 내의 최근 혁신 사항들을 소개하며, 클라우드, 온프레미스, 타사 플랫폼 전반에 걸친 데이터 통합, 상호 운용성 및 연동을 강조합니다.

OneLake 기능 (OneLake Capabilities)

Shortcuts, Mirroring, Delta 및 Iceberg와 같은 형식을 사용하는 개방형 API 기능을 통해 엔터프라이즈 데이터를 통합합니다. 이를 위한 목적은 데이터 사일로를 제거하고 실시간 액세스, 교차 플랫폼 사용, 효율적인 데이터 관리를 가능하게 합니다. 또한 환경 전반에 걸쳐 일관성을 제공하는 것을 목적으로 합니다. Databricks, Snowflake, SAP와의 강화된 파트너십을 포함하여 OneLake로의 Native zero-copy integration을 보장합니다. SharePoint 및 OneDrive와의 새로운 연결은 데이터 중복 없이 원활한 협업 및 접근성을 허용합니다.

AI 및 개방형 액세스 (AI and Open Access)

Fabric 및 Microsoft Foundry 내의 AI 기반 데이터 변환 및 분석은 운영을 간소화합니다. 개방형 표준 및 API는 데이터 공유, 검색, 그리고 Microsoft 365 도구 전반에서의 안전한 사용을 지원하여 전사적인 의사 결정 및 혁신을 향상시킬 것으로 기대합니다.

카탈로그 및 인사이트 (Catalog and Insights)

OneLake Catalog는 이제 내장된 Copilot 기반 인사이트를 통해 데이터 검색 및 거버넌스를 중앙 집중화합니다. 23만 개 이상의 조직과 수백만 명의 사용자가 100개 이상의 Microsoft 경험 전반에서 통합된 검색, 액세스 및 규정 준수 관리를 통해 이점을 얻고 있습니다.

[Physical AI] Agentic 기술을 Robotics까지 확장

이 세션에서는 Copilot을 활용해 로봇 개발의 패러다임이 수동 코딩에서 AI 에이전트 기반의 자율 개발 및 운영으로 전환되고 있음을 보여줍니다.

로봇 지능 개발의 어려움과 현황

GRID 플랫폼: AI 로봇 개발의 새로운 방법론 (GeneralRobotics )

GRID Enterprise by General Robotics는 Azure 기반 클라우드 통합 플랫폼으로, 로봇에 AI 스킬을 15분 만에 배포하고 하루 만에 특정 용도에 맞게 미세 조정할 수 있도록 지원합니다.

핵심 기능 및 특징

클라우드 기반 추론 및 확장성

• 추론 스택 제공
  개발 주기마다 모델을 압축·증류할 필요 없이 클라우드에서 저지연 프로토콜을 통해 AI 모델을 제공합니다.
  이를 통해 비전, 분할, 경로 계획, 파지 예측 모델을 빠르게 테스트할 수 있습니다.
• CI/CD 개념 적용
  로봇 개발에 지속적 통합·지속적 배포(CI/CD) 개념을 적용하여 개발 효율을 극대화합니다.
• 자동 확장 인프라 제공
  향후 5년간 수십만 대의 로봇 배포를 목표로 하며, 엣지 환경과 달리 클라우드에서 GPU를 신속하게 확장할 수 있습니다.

Copilot과 GRID를 활용한 실제 적용 시연

GitHub Copilot과 GRID를 연동하여, 사용자 명령에 따라 로봇이 복잡한 작업을 수행하고 그 과정을 요약하는 에이전트 기반 개발 및 배포 시연을 보여줍니다.

로봇 제어 시연 (물체 분류 및 정렬)

• VS Code에서 GitHub Copilot을 사용합니다.
• 사용자는 **“콜라를 오른쪽 통에, 나머지는 왼쪽 통에 넣으라”**고 명령합니다.
• 사전 학습이나 미세 조정은 전혀 없었습니다.
• 에이전트는 콜라와 다른 음료에 대한 사전 지식이 없었습니다.
• 로봇은 파지 예측, 자세 추정, 모션 계획, 분할, 객체 인식, VLA 모델 등 7가지 모델을 클라우드에서 동시에 사용하여 문제를 해결합니다.
• 모든 과정은 실시간으로, 원격 조작이나 준비 단계 없이 이루어집니다.

Copilot의 역할

• Copilot은 GRID와 로봇 API에 접근 권한을 가집니다.

• 작업 완료 후, Copilot은 수행한 모든 작업을 요약하고 사용자에게 행동 이유에 대한 추론을 제공합니다.

자율 현장 관리 적용 사례

• GPT 기반 에이전트가 특정 사용 사례(예: 에너지 현장)에 맞게 미세 조정됩니다.

• 에이전트는 로봇에게 검사를 지시합니다.

• 로봇이 이미지를 가져오면, 에이전트는 이상 감지 모델을 실행합니다.

• 이후 ServiceNow, SAP, Salesforce 등과 연동하여 워크플로우를 시작합니다.

• 이 프레임워크는 휴머노이드, 조작 팔 등 모든 로봇 형태에 동일하게 적용될 수 있습니다.

[Agent] '조직의 운영자'로 진화하는 AI

이번 Microsoft Ignite 2025에서는 AI가 단순한 도구를 넘어 조직 운영의 핵심 주체로 자리 잡는 '에이전트 시대'의 서막을 목격할 수 있었습니다. 특히 AI 에이전트가 기업의 업무 구조를 어떻게 재편하고 있는지에 대한 세 가지 흐름을 공유드리고자 합니다.

Human-led에서 Agent-operated로의 조직 혁신

Microsoft는 이번 Ignite를 통해 ‘Frontier Firms’라는 새로운 조직 모델을 제시했습니다. 이는 사람이 의사결정의 방향을 제시하고(Human-led), AI 에이전트가 실제 운영을 담당(Agent-operated)하는 구조입니다. 이 비전은 AI를 개인의 보조 도구로만 보는 시각에서 벗어나, 조직의 핵심 워크플로우를 자동화하고 재설계하는 운영 주체로 격상했음을 의미합니다.

• Copilot의 진화: 단순 지시 수행 보조자에서, 업무 상황을 이해하고 능동적으로 문제를 해결하며 협업하는 자율 에이전트로 역할이 확장됩니다.

• 새로운 조직구조: 모든 직원이 개인 에이전트를 가지게 되고, 기업 내 모든 업무가 "사람 + 에이전트팀" 형태로 재편되는, 조직 운영 방식의 근본적인 전환이 가속화될 것입니다.

• IQ 레이어의 역할: 특히, 업무 데이터와 개인 컨텍스트를 결합하여 조직 전체의 정보 흐름 속에서 에이전트가 지능적으로 작동하도록 돕는 Work IQ/Fabric IQ/Foundry IQ와 같은 IQ 레이어가 이 지능형 Copilot의 핵심 기반입니다.

Agents for Microsoft 365 Copilot

What is IQ (preview)? - Microsoft Fabric

에이전트 시스템을 위한 플랫폼 표준화

이러한 에이전트 기반 조직 운영을 현실화하기 위해 Microsoft는 핵심 기술 스택인 Agent Framework, Foundry, Agent 365를 공개하며 엔터프라이즈 AI의 표준을 제시했습니다. 더 이상 LLM 모델 자체의 성능이 아닌, '배포 가능한 에이전트를 어떻게 만들고 안정적으로 운영할 것인가'가 핵심 과제가 되었습니다.

Introduction to Microsoft Agent Framework

What Is Foundry Agent Service? - Microsoft Foundry

Microsoft Agent 365 overview

기업사례: Cognizant의 멀티 에이전트 협업 아키텍처

이론에 머물던 에이전트 기술은 이제 실제 기업 업무 환경에 적용되는 구체적인 실행모델을 선보였습니다. 그중 가장 주목할 만한 사례는 Cognizant의 멀티에이전트 기반 조직운영 아키텍처입니다.

• 전문 에이전트의 구성: Cognizant는 단순 LLM 활용을 넘어, 마치 기업의 직무구조처럼 에이전트별로 명확한 역할, 지식, 능력(Skills)을 정의하여 전문화된 에이전트 네트워크를 구축했습니다. 예를 들어, ‘HR 에이전트’, ‘급여 에이전트’, ‘법무 에이전트’ 등이 독립적으로 존재합니다.
  프런트 에이전트의 역할: 사용자는 복잡한 요청을 '프런트 에이전트(Front Agent)' 단일 접점을 통해 전달합니다. 이 프런트 에이전트는 요청을 해석하여 필요에 따라 적절한 전문 에이전트들을 호출하고, 이들 간의 협력을 조율하는 조력자이자컨트롤러 역할을 수행합니다.

• 협력적 문제해결: 이 구조를 통해 여러 에이전트가 역할을 분담하고 병렬적으로 협력함으로써, 단일 에이전트가 해결하기 어려운 복합적인 업무(예: 데이터 분석 → 인사이트 도출 → 보고서 초안 작성)를 더 신뢰도 높고 효율적으로 수행할 수 있음을 입증했습니다.

Enterprise AI Agents

[RAG] Foundry IQ: the future of RAG with knowledge retrieval and AI Search

이번 Microsoft Ignite 행사에서는 최근 엔지니어들이 어떤 기술적 방향에 집중하고 있는지 직접 확인할 수 있었는데요, 여러 세션을 들으며 공통적으로 느낀 점은 많은 엔지니어들이 다양한 에이전트에 폭넓게 적용할 수 있는 기술에 주목하고 있으며, 이를 고객 경험 향상과 직원 업무 효율화에 실질적으로 연결하는 데 초점을 두고 있다는 것이었습니다. 여러 세션들 중에 최근 Microsoft 에서 에이전트에 지식을 연결하기 위한 통합 knowledge base 인 Foundry IQ 를 공개했습니다. Foundry IQ 가 어떤 것이고 무엇을 목적으로 하는지 설명드리도록 하겠습니다.

Foundry IQ 란?

Foundry IQ는 매번 에이전트를 새로 구축할 때마다 필요한 지식 레이어를 일관적으로 제공하는 플랫폼으로, 말 그대로 “the knowledge layer for agents” 를 지향하고 있었습니다. Azure AI Search를 기반으로 구축되어 있으며, Azure Blob Storage, 웹 검색 결과, MCP Engine 등 다양한 소스를 knowledge base로 활용할 수 있도록 구성되어 있습니다.

참고자료

Foundry IQ: Unlock knowledge retrieval for agents, by Azure AI Search

Knowledge Bases

• Azure Portal에서 직접 생성할 수 있으며, 생성된 knowledge base를 여러 에이전트가 공유해 사용할 수 있다는 점이 가장 큰 특징입니다.

• Indexing이 필요한 정형·비정형 데이터뿐 아니라 외부 데이터, MCP Servers까지 연결할 수 있어 지식 확장성이 뛰어나다는 장점이 있습니다.

• Knowledge Bases 에 연결 가능한 컨텐츠들로는 아래와 같이 Indexed Sources 와 Remote Sources 로 구분되어 있습니다.

  • Indexed Sources: AI Search Indexes, Azure Blob Storage, Fabric OneLake, SharePoint

  • Remote Sources: M365 SharePoint, Web with Bing, MCP servers
    
    

Agentic Retrieval Engine

• Azure Portal 에서 생성한 knowledge base를 각 agent에 연결하면, agent는 질의를 plan → decompose → retrieve → ground의 과정을 반복적으로 수행하며, 최종적으로 citation까지 포함해 정답을 구성하는 프로세스를 거치게 됩니다.

• 이때 각 과정마다 agent가 reasoning effort 가얼마나필요한지조절이가능합니다. 즉, reasoning 을 할수록 응답까지 걸리는 속도가 느려지기 때문에, 속도와 성능 간 적절한 optimal point 를 각 agent 를 구성할때마다 조절할 수 있도록 한 것입니다.
  

• 아래 표는 Agentic Retrieval Pipeline 에서 reasoning 정도를 minimal 부터 medium 까지 조정하고자 했을 때, 어떻게 effort 를 조정하면 되는지 나타낸 표 입니다. Minimal 로 갈수록 reasoning effort 를 적게 사용해서 속도는 빨라지지만 성능은 저하될 수 있고, Medium 으로 갈수록 reasoning effort 를 많이 사용해 성능은 높아지지만 속도는 저하될 수 있습니다.
  
  

• 성능의 경우, minimal < low < medium으로 reasoning effort를 늘릴수록 성능이 개선됨을 실험적으로 증명해 보였습니다. 실제 데모에서 reasoning effort를 minimal에서 medium으로 높였을 때 검색 품질이 평균적으로 36% 정도 유의미하게 개선되는 것을 확인할 수 있었습니다.

느낀 점

이번 Ignite는 기존처럼 새로운 기술을 선보이는 데 초점을 두기보다는, 실제 업무와 현실 적용을 선도하는 방향으로 변화하고 있음을 느꼈습니다. Microsoft가 ‘프론티어 기업 시대’를 선언한 것도 단순한 AI 기술 혁신을 넘어, 실질적인 비즈니스 활용을 강화하려는 의도로 보입니다. AGI 이전 단계에서 AI는 에이전트를 통해 확산될 것으로 예상되며, 특히 보안과 거버넌스 측면에서 에이전트에게 Entra ID를 부여하고 이를 관리하는 방식은 AGI로 가기 위한 전단계처럼 보였습니다.

 
인상 깊었던 세션으로는 Power Platform이 있습니다. 과거 노코드에서 벗어나, App Builder를 통한 간단 서비스 개발, 자동 데이터베이스 구축, T2SQL 기반 데이터 조회, 그리고 에이전트를 활용한 서비스 모니터링 및 개발까지 자동화 속도가 매우 인상적이었습니다.

 
또한 Local AI는 클라우드뿐 아니라 NPU를 활용한 ML 환경 개발을 지속하고 있었으며, 실제 데모에서 이미지 생성 속도가 놀라웠습니다. 이는 향후 IoT나 공장 등 특정 환경 내 시장을 적극적으로 공략하려는 전략으로 보였습니다.

 
마지막으로 Physical AI는 LLM을 활용한 로봇 개발 사례가 가장 인상적이었습니다. 코드 생성부터 시뮬레이션 배포, 동작 평가까지 LLM을 적용한 프로세스는 로봇 개발의 새로운 가능성을 보여주었습니다.

Microsoft Ignite를 통해 Agentic 시대의 에이전트를 빠르게 개발하고 배포할 수 있는 플랫폼이 잘 구축되어 있다는 것을 직접 확인할 수 있었고, 이를 토대로 2027년에는 약 13억 개의 에이전트가 등장하리라는 것을 예상할 수 있었습니다. 이러한 에이전트를 통해 실제 사용 사례가 발굴되고, 여기서 살아남는 에이전트를 개발하기 위해 많은 기업들이 치열하게 경쟁할 것으로 보입니다.

 
특히 Copilot for Physical AI, Digital Twin + Real-time Intelligence, GRID 시연은 AI가 물리 세계와 결합되는 첫 산업 전환기를 보여주었습니다. AI 적용 영역은 기존 문서·사무 업무를 넘어 제조, 물류, 현장, 점포, 스마트 홈·빌딩·도시까지 빠르게 확대되고 있습니다.

 
앞으로 Vision-Language-Action 기반 Physical AI 경쟁이 본격적으로 시작될 것으로 예상됩니다.

개인적으로 이번 Ignite 2025에서 가장 크게 느낀 핵심 메시지는 ‘업무의 에이전트화’였습니다. AI의 관심사가 더 이상 LLM 모델 자체의 성능 향상이나 개인 생산성 도구 수준에 머무르지 않고, 조직 단위의 지능적 운영 체계로 이동하고 있다는 점을 실감했습니다. 기업의 모든 프로세스가 메모리를 가진 에이전트 중심으로 재설계되고, 여러 에이전트가 서로 협력하며 지속적·장기적 업무를 수행하는 구조로 변화하고 있습니다. 이는 단순한 기술 도입을 넘어, 기존 Human-led 방식에서 Agent-operated 모델로 확장되는 새로운 조직 운영 패러다임의 시작이라고 생각합니다.

궁극적으로는 모든 직원에게 개인화된 업무 에이전트가 부여되고, 이들이 조직 내 워크플로우를 자동으로 실행·조율하는 시대가 열릴 것입니다. 저는 이 흐름이 단순한 혁신을 넘어서 기업 운영 모델 자체를 다시 정의하는 대전환점이라고 느꼈습니다. Microsoft가 제시한 Foundry와 Agent Framework는 이러한 변화의 기반이 되는 엔터프라이즈급 에이전트 인프라 표준을 제시했으며, 앞으로 조직이 에이전트 시대에 맞춰 효율성과 경쟁력을 극대화할 전략적 준비가 필요함을 느꼈습니다.

이번 Ignite 행사를 통해 RAG의 패러다임이 빠르게 변화하고 있다는 점을 확인할 수 있었습니다. 기존처럼 embedding similarity 기반으로 단순 검색을 수행하는 방식에서 벗어나, 이제는 iterative reasoning을 기반으로 한 agent 중심의 접근으로 이동하고 있었습니다. 특히 agentic RAG를 구축할 때 일관된 지식 레이어(unified knowledge layer)를 재사용할 수 있다는 점은 비용과 개발 복잡도를 크게 줄일 수 있다는 측면에서 매우 인상적이었습니다.

또 하나 주목할 부분은, 에이전트가 수행하는 기능마다 필요한 reasoning 강도를 조절할 수 있도록 설계되어 있다는 점이었습니다. 정확도와 응답 시간 간에는 불가피한 trade-off가 존재하기 때문에, 업무 맥락에 따라 적절한 reasoning effort를 선택할 수 있다는 점은 매우 실용적인 접근으로 보였습니다.