안녕하세요. IT전략본부 박희원, 김정준입니다.
지난 5월, 미국 애틀랜타 조지아 월드 콩그레스 센터(GWCC)에서 개최된 Red Hat Summit 2026에 참석하였습니다.
올해 행사의 주요 주제는 '엔터프라이즈 환경에서 Agentic AI를 운영하기 위한 플랫폼 전략'이었습니다.
특히 오픈소스 기반의 Hybrid Cloud 환경에서 AI 에이전트를 대규모로 운영하고, 증가하는 추론(Inference) 수요를 효율적으로 처리하기 위한 방향성을 제품 발표와 고객 사례를 통해 공유했습니다.
저희가 애틀랜타 현장에서 직접 호흡하며 체감한 뜨거운 열기와 주요 키노트, BC카드의 세션, 그리고 글로벌 기술 협력을 이끌어낸 뜻깊은 EVC 미팅 현장까지 사내 임직원 여러분과 깊이 있게 나누고자 합니다.
현장 분위기: 실험실을 넘어 'Real World'로 향하는 AI의 열기
Red Hat을 상징하는 빨간 페도라가 천장 곳곳에 매달려 있는 모습이었습니다.
주요 KeyNote
Day 1: AI를 지탱하는 인프라, GPU 가상화와 옵저버빌리티(Observability)
Day 1 키노트의 화두는 화려한 AI 애플리케이션 그 이면에 존재하는 '기반 인프라의 최적화'였습니다.
엔터프라이즈 환경에서 거대한 AI 모델을 지속적으로 운영하기 위해서는 한정되고 값비싼 하드웨어 자원을 얼마나 영리하게 통제하느냐가 관건이기 때문입니다.
GPU 유휴 자원(Idle Capacity) 최소화 전략
- GPU 가상화 및 공유 전략
- 단순히 컨테이너 단위로 GPU를 전용 할당하는 방식을 넘어, GPU 자원의 파편화를 최소화하기 위한 고도화된 가상화 아키텍처가 소개되었습니다.
- MIG와 Time-slicing의 하이브리드 활용
- 워크로드 특성에 따라 NVIDIA MIG(Multi-Instance GPU) 를 활용해 GPU를 하드웨어 수준에서 분할하거나, Time-slicing 을 통해 소프트웨어 수준에서 GPU 자원을 동적으로 공유하는 전략이 제시되었습니다.
- 두 방식을 조합하여 GPU 유휴 시간을 최소화하고, Multi-tenancy 환경에서 자원 활용도를 극대화하기 위한 스케줄링 기법이 주요 사례로 소개되었습니다.
클러스터 가시성 및 커스텀 메트릭 수집
- Observability 강화
- 하이브리드 클라우드 환경과 세분화된 GPU 자원을 안정적으로 운영하기 위해 클러스터 전반의 가시성을 확보하는 것이 중요한 요소로 강조되었습니다.
- 커스텀 메트릭 기반 모니터링
- 애플리케이션 로그뿐 아니라 Kubernetes 노드, GPU 에이전트 등 다양한 계층에서 발생하는 커스텀 메트릭을 실시간으로 수집하고 대시보드화하는 방안이 소개되었습니다.
- 이를 통해 인프라 병목 구간을 선제적으로 식별하고 운영 효율성을 높이는 모니터링 체계가 AI 인프라 운영의 기본 요소로 제시되었습니다.
Day 2 : 실시간 Red Teaming을 활용한 AI Guardrail 검증
Day 2 키노트에서는 OpenShift AI 기반의 Lemonade Stand Chatbot을 활용한 라이브 데모가 진행되었습니다.
발표 중 현장 스크린에 QR 코드가 공개되었으며, 참석자들은 직접 챗봇에 접속하여 다양한 질의를 입력하고 Guardrail 정책의 동작을 테스트할 수 있었습니다.
챗봇은 레몬에 관련된 질문에는 정상적으로 응답하였으며, 서비스 목적과 무관한 질문은 정책에 따라 차단되는 형태로 동작하였습니다.
Audience vs Guardrails : 실시간 Red Teaming
참석자들은 Jailbreak 프롬프트, 비속어(Swearing), 서비스 범위를 벗어난 질문(Non-Lemon), 비영어 입력(Non-English) 등 다양한 입력을 시도하며 Guardrail 정책을 검증하였습니다.
무대 스크린에는 실시간 대시보드가 공개되어 전체 요청 수, 차단 비율 및 공격 유형별 통계를 확인할 수 있었으며, 수천 건의 요청이 짧은 시간 동안 집중되는 상황을 시연하였습니다.
Guardrail 기반 요청 제어
데모에서는 입력 요청이 Guardrail 계층을 통과한 이후에만 백엔드 LLM으로 전달되는 구조가 소개되었습니다.
이를 통해 서비스 목적에 부합하지 않는 요청, 정책 위반 프롬프트, 욕설 등의 입력을 사전에 차단하면서도 정상적인 사용자의 질의에 대해서는 안정적으로 응답할 수 있는 엔터프라이즈 AI 운영 모델을 확인할 수 있었습니다.
AI 플랫폼 전략: RedHat AI가 제시하는 엔터프라이즈 표준
키노트와 이어진 하이라이트 세션들을 통해, Red Hat이 지향하는 AI 플랫폼 전략의 방향성을 보다 구체적으로 확인할 수 있었습니다. 핵심은 AI 라이프사이클 전반을 하이브리드 환경에서 일관된 방식으로 운영할 수 있도록 지원하는 것으로 보였습니다.
인프라 복잡성 추상화 및 셀프서비스 환경 제공
데이터 사이언티스트와 AI 개발자의 주요 업무는 모델 개발과 성능 개선에 집중하는 것이며, 쿠버네티스 YAML 구성이나 GPU 자원 할당과 같은 인프라 운영 부담은 최소화될 필요가 있습니다.
OpenShift AI는 사용자가 필요한 개발 환경(Jupyter, VS Code 등)과 자원을 셀프서비스 방식으로 활용할 수 있도록 지원하며, 하부의 컨테이너 오케스트레이션과 GPU 스케줄링 등은 플랫폼 계층에서 관리하는 구조를 제공하고 있었습니다. 이를 통해 개발자는 인프라보다는 AI 모델 개발과 실험에 집중할 수 있는 환경을 지향하고 있었습니다.
하이브리드 클라우드 환경에서의 운영 일관성 확보 (Run Anywhere)
엔터프라이즈 환경에서는 보안, 규제, 비용 등의 이유로 퍼블릭 클라우드, 온프레미스 데이터센터, 엣지 환경을 함께 운영하는 경우가 많습니다.
Red Hat은 이러한 환경을 고려하여, 인프라의 물리적 위치와 관계없이 동일한 MLOps 파이프라인과 운영 경험을 제공하는 Run Anywhere 전략을 강조하였습니다. 온프레미스에서 학습한 모델을 다른 클라우드 환경으로 배포하거나, 반대로 워크로드를 이전하는 과정 역시 동일한 플랫폼 내에서 관리할 수 있다는 점이 소개되었습니다.
개방형 생태계를 기반으로 한 확장성 확보
AI 생태계가 빠르게 확대됨에 따라 특정 모델이나 벤더에 종속되지 않는 유연성도 주요 메시지로 제시되었습니다.
Red Hat은 NVIDIA, AMD 등 가속기 제조사와의 통합뿐만 아니라 다양한 ISV와 모델 제공업체와의 협력을 확대하고 있으며, Agentic AI 구현을 위한 여러 프레임워크와 도구들을 활용할 수 있는 개방형 플랫폼 전략을 지향하고 있었습니다. 이를 통해 사용자는 요구사항에 맞는 모델과 구성 요소를 선택하여 활용할 수 있는 환경을 구성할 수 있도록 지원하고 있었습니다.
세션 하이라이트: BC카드의 'AI Swarm' 아키텍처 도입 사례
수많은 글로벌 기업들의 세션 중에서도 국내 금융권 사례로 소개된 BC카드의 'Agentic Swarm' 아키텍처 세션은 특히 관심 있게 들었던 발표 중 하나였습니다. 금융 서비스에 Agentic AI를 적용하기 위한 아키텍처와 운영 방안을 구체적으로 살펴볼 수 있었습니다.
• 단일 거대 모델(Monolithic LLM)을 넘어선 다중 에이전트 협업 구조
BC카드는 하나의 거대 AI 모델(Monolithic LLM)에 모든 금융 업무를 맡기는 대신, 특정 도메인(이상 거래 탐지, 고객 맞춤형 혜택 분석, 트렌드 분석 등)에 특화된 다수의 소형 AI 에이전트(Small & Specialized Agents)가 협력하여 복잡한 태스크를 수행하는 'Agentic Swarm' 모델을 소개하였습니다.
각 에이전트는 독립적인 역할을 수행하면서도 필요한 정보를 공유하고 작업을 분담하여, 보다 유연하게 업무를 처리할 수 있도록 구성되어 있었습니다.
• OpenShift 기반의 에이전트 오케스트레이션
BC카드는 강한 망분리 규제와 컴플라이언스 요구사항이 존재하는 금융 환경에서 해당 Swarm 아키텍처를 구현한 방안을 함께 설명하였습니다.
OpenShift 컨테이너 플랫폼을 활용하여 각 에이전트를 마이크로서비스 형태로 격리 및 배포하였으며, 다수의 에이전트가 실시간으로 데이터를 교환하고 작업을 분배·조율하는 과정을 플랫폼 수준에서 관리하는 구조를 적용하였습니다.
이를 통해 보안 요구사항을 준수하면서도 다수의 AI 에이전트를 효율적으로 운영할 수 있는 금융권 Agentic AI 적용 사례를 확인할 수 있었습니다.
EVC(Executive Visioning Center)를 통한 글로벌 기술 협력 도출
이번 서밋에서는 대규모 세션 참관뿐만 아니라, 프라이빗하게 진행된 EVC(Executive Visioning Center) 미팅을 통해 향후 AI 인프라 방향성에 대한 논의도 진행되었습니다.
• AI 환경에서의 Confidential Computing 적용 검토
AI 워크로드가 기업의 민감한 데이터를 처리함에 따라, 데이터가 사용되는 과정(Data in Use)을 보호하기 위한 Red Hat Confidential Computing 기술이 주요 논의 주제로 다뤄졌습니다.
특히 AI 서비스 운영 시 데이터 보안 요구사항을 충족하기 위한 아키텍처 구성 방안과 적용 가능성에 대해 Red Hat 측과 의견을 교환할 수 있었습니다.
• Red Hat Executive 및 엔지니어와의 기술 협력 논의
현장에서는 IT아키텍처담당 주석훈 상무님의 주도하에 Red Hat의 글로벌 Executive 및 코어 엔지니어들이 참석하여 심층적인 논의가 진행되었습니다.
우리 회사가 고려하고 있는 차세대 AI 인프라 아키텍처 방향성과 데이터 보안 요구사항을 공유하였으며, Confidential Computing 아키텍처 적용을 위한 기술 검토와 향후 협력 방안에 대해 구체적으로 논의하는 시간을 가질 수 있었습니다.
후기
김정준 (IT아키텍처담당)
"전사 AI 인프라 아키텍처를 기획하는 입장에서, AI 기술이 PoC를 넘어 실제 운영 환경으로 빠르게 확산되고 있음을 현장에서 확인할 수 있었습니다. 특히 BC카드의 Agentic Swarm 사례와 EVC 미팅에서 논의된 Confidential Computing은 향후 AI 인프라 아키텍처를 검토하는 과정에서 참고할 만한 사례였습니다."
박희원 (IT인프라기술담당)
"이번 Summit은 AI 모델 자체보다 이를 안정적으로 운영하기 위한 플랫폼 기술과 아키텍처를 살펴볼 수 있었던 자리였습니다. OpenShift AI의 운영 방식, GPU 자원 활용 전략, Guardrail 적용 사례 등은 향후 AI 서비스 기능을 설계하고 고도화하는 과정에서 참고할 수 있는 내용들이었습니다."
이번 Red Hat Summit을 통해 AI 기술 자체뿐만 아니라, 이를 엔터프라이즈 환경에서 안정적으로 운영하기 위한 플랫폼과 인프라의 중요성을 다시 한번 확인할 수 있었습니다.
본 참관기를 통해 공유드린 내용이 향후 AI 서비스와 인프라를 고민하는 데 작은 참고가 되기를 바랍니다.
감사합니다.