AI는 이제 답변만 하는 시대를 넘어, 실제 문제를 해결하는 ‘Agent’의 시대로 진화하고 있어요. 저희 팀이 최근 캐나다 토론토에 있는 Vector Institute에서 열린 Agentic AI Bootcamp에 참여하면서 많은 것을 배울 수 있는 시간을 가지게 되었어요. 이 글에서는 부트캠프에서 배운 점, 실제 구축 과정, 그리고 기업들이 보여준 인상적인 활용 사례를 소개해드리려고 해요.
Vector Institute Agentic AI Bootcamp 가 뭔가요?
Vector Institute
Vector Institute는 캐나다 토론토에 위치한 세계적인 AI 연구기관이에요. 캐나다 정부, 온타리오 주정부, 그리고 40개 이상의 기업들이 함께 협력해서 설립했어요. 지금도 AI 연구와 인재 양성에 큰 기여를 하고 있죠. 특히 눈에 띄는 건, 딥러닝의 아버지라고 불리는 Geoffrey Hinton 교수가 Advisor로 참여하고 있다는 사실이에요. 역전파 알고리즘을 통해 신경망 학습을 가능하게 만들고, 딥러닝 연구를 부활시킨 분이 바로 그분이거든요.
Agentic AI Bootcamp
- Learn Day (3일): 이론과 실습 위주의 최신 Agent 개발 방법연구 학습
- Build Day (3일): Use case를 기반으로 한 팀 단위 에이전트 구축
- Showcase Day (1일): 프로그램 기간 동안 만든 Agent 발표
Learn Day
캐나다 현지 시간에 맞추다 보니, 한국 참가자인 저희 팀은 밤 11시부터 새벽 4시까지 강의를 들어야 했어요. 게다가 모든것이 영어로 진행되는 심화 강의라 쉽지 않았지만, 그만큼 배울 게 많아서 가치 있는 시간이었어요.
3일간의 집중 학습
- LLM의 한계와 Tool 사용의 필요성
- Knowledge Retrieval Tools 의 작동 원리와 한계
- ReAct (Reason-and-Act) 프레임워크의 핵심 개념
- Agent Framework를 통한 보일러플레이트 코드 줄이기
Day 2: 고급 아키텍처와 관찰성
- Multi-Agent 시스템 설계 (Planner-Worker 패턴)
- MCP (Model Context Protocol) 와 A2A (Agent-to-Agent) 프로토콜
- Langfuse 를 활용한 Agent Observability
- 비용 최적화를 위한 Agent 아키텍처 설계
Day 3: 평가와 데이터 생성
- LLM-as-a-Judge 를 활용한 평가 방법론
- Synthetic Data Generation 을 통한 테스트 데이터 확장
- Agent 성능 측정과 개선 방법
Build Day
우리 팀의 프로젝트: Deep Research Agent
개발 계기
Agent 아키텍처 설계
- Main Agent: 전체 워크플로우를 조율하는 메인 에이전트
- Planner Agent: 사용자 질문을 분석하고 연구 계획을 세우는 에이전트
- Search Agent: 웹 검색과 지식베이스 검색을 담당하는 에이전트
- Synthesizer Agent: 검색된 정보를 종합하고 정리하는 에이전트
- Critic Agent: 최종 결과의 품질을 평가하고 개선점을 제안하는 에이전트
YAML 기반 설정의 장점
defaults: - planner@sub_agents.Planner - synthesizer@sub_agents.Synthesizer - search@sub_agents.Search - critic@sub_agents.Critic - _self_ name: "Main" description: "This agent orchestrates the workflow..." configs: model: "gemini-2.5-pro" prompt: prompts/draft_agent/main.txt123456789101112
이런 식으로 각 Agent의 역할과 설정을 명확하게 정의할 수 있어서, 팀원들과 협업할 때도 훨씬 수월했어요.
Langfuse를 통한 Observability와 평가
가장 중요한 학습 포인트 중 하나는 Observability였어요. 여기서 Observability(관찰 가능성)는 Agent가 어떤 과정을 거쳐 답을 내렸는지 투명하게 관찰할 수 있는 절차에요. 이를 통해 Agent가 어떻게 동작하는지, 어디서 문제가 발생하는지 실시간으로 모니터링 하여 Agent의 품질을 개선시킬 수 있어요.
Langfuse 를 통해 다음을 추적할 수 있었어요:
- 각 Agent의 입력/출력
- Tool 호출 횟수와 성공률
- 전체 워크플로우의 실행 시간
- 비용 분석
특히 "왜 이 Agent가 이런 결정을 했는지"를 추적할 수 있어서, 성능 개선에 큰 도움이 되었어요.
데이터셋 기반 평가
Observability뿐만 아니라 데이터셋 기반 평가를 통해 Agent의 성능을 정량적으로 분석할 수 있었어요. 다양한 질문-답변 쌍으로 테스트하면서 어느 부분에서 Agent가 실패하는지, 어떤 개선이 필요한지 구체적으로 파악할 수 있었거든요. 이를 통해 지속적으로 Agent의 성능을 개선해 나갈 수 있었어요.
Build Day 이후
Build Day가 끝나고 나서도 저희는 계속해서 프로젝트를 발전시켜 나갔어요. Build Day가 끝난 이후 쇼케이스까지 시간이 있었는데, 원할 경우 계속 발전 시키는 것을 권장하기도 했고 저희도 더 발전시키고 싶어서 계속 개발을 이어갔어요. 가장 큰 성과는 Agent Builder를 만든 것이었어요.
Agent Builder 개발
부트캠프에서는 다루지 않았지만, 웹 UI를 통해 Agent를 쉽게 생성할 수 있는 도구를 개발했어요. 앞서 Build Day 때 YAML 설정 파일만으로도 Agent를 만들 수 있게 한 작업 덕분에, 직관적인 웹 인터페이스만으로 Agent를 만들 수 있는 시스템이 되었죠.
주요 기능
- 웹 기반 GUI: 직관적인 웹 인터페이스로 Agent 설정
- 자동 파일 관리: YAML 설정 파일과 프롬프트 파일 자동 생성
- 서브 에이전트 지원: 복잡한 멀티 에이전트 시스템도 쉽게 구성
이렇게 Agent 를 손쉽게 만들 수 있는 툴을 만들고 나니, 새로운 Agent를 만들때에도 손쉽게 만들 수 있었어요.
쇼케이스
부트캠프 마지막 날에는 모든 팀이 자신들의 프로젝트를 발표하는 Showcase Day가 있었어요. 무려 32개 팀이 각각 다른 접근 방식으로 Agentic AI를 활용한 프로젝트를 선보였는데, 정말 인상적인 것들이 많았어요.
인상적인 프로젝트들
각각 다른 팀들이 자신의 도메인에서 Agentic AI를 활용한 프로젝트를 선보였어요. 대표적으로는 이러한 Agent가 있었어요.
- 의료비용 최적화를 위한 수술 비용 분석 Agent
- 에너지 산업의 기름 공장 운영 최적화 Agent
- 금융 서비스의 시장 심리 분석 Agent
- 투자 분석을 위한 주식 예측 Agent
각 팀이 도메인 지식과 Agentic AI를 결합해서 실질적인 비즈니스 문제를 해결하는 모습이 정말 인상적이었어요. Agentic AI가 단순한 기술이 아니라 비즈니스 문제를 해결하는 강력한 도구라는 것을 다시 한번 확인할 수 있었거든요.
결과물 오픈소스 공개
부트캠프에서 개발한 모든 코드와 경험을 오픈소스로 공개했어요. 다른 개발자들과 지식을 공유하고, Agentic AI 생태계 발전에 기여하고 싶었기 때문이에요.
GitHub 리포지토리
🔗 DRAFT - Deep Research Agent Framework Toolkit
주요 구성 요소
- Agent Builder: Agent를 자동으로 생성하는 도구
- Deep Research Agent: 복합적인 연구를 수행하는 Agent 시스템
- MCP 지원 : 표준 프로토콜을 활용한 확장 가능한 아키텍처
- 평가 도구: Agent 성능을 측정하고 개선하는 도구들
- 문서화: 상세한 사용법과 예제 코드
앞으로의 계획
현재는 기본적인 Agent Builder와 Deep Research Agent가 구현되어 있고, 앞으로 Agent를 만드는 Agent, A2A, 메모리 기능, Human-in-the-loop 등의 고급 기능들을 단계적으로 업데이트해 나갈 예정이에요. Agentic AI에 관심이 있으신 분들은 언제든지 기여해주세요!
마무리
Vector Institute Agentic AI Bootcamp를 통해 AI의 새로운 패러다임을 직접 경험할 수 있었어요. 단순히 LLM을 사용하는 것을 넘어서, 여러 Agent가 협력해서 복잡한 문제를 해결하는 시스템을 구축하는 과정은 정말 흥미로웠어요.
핵심 인사이트
1. Agentic AI는 단순한 기술이 아니다
Agentic AI는 단순히 LLM에 도구를 연결하는 것이 아니라, 비즈니스 문제를 해결하는 새로운 접근 방식이에요. 각 Agent가 명확한 역할을 가지고 협력할 때, 단일 시스템으로는 불가능했던 복잡한 작업을 수행할 수 있거든요.
2. Observability가 핵심이다
Agent 시스템의 성공은 관찰 가능성(Observability)에 달려있어요. Agent가 어떻게 생각하고 결정하는지, 어디서 문제가 발생하는지 실시간으로 파악할 수 있어야 지속적인 개선이 가능하거든요.
3. 표준화의 중요성
MCP 와 A2A 같은 표준 프로토콜의 중요성을 깨달았어요. 이는 Agent 생태계가 확장 가능하고 지속 가능하게 발전할 수 있는 기반이에요.
미래 전망
Agentic AI는 이제 시작일 뿐이에요. 앞으로는 Agent 간의 협업 이 더욱 정교해지고, 도메인별 특화 Agent들이 대량으로 등장하면서 Agent 생태계가 하나의 플랫폼으로 통합될 것으로 예상이 되요.
마지막으로
Agentic AI는 단순한 기술 트렌드가 아니라, 인간과 AI가 협력하는 새로운 방식을 제시하고 있어요. 이 글을 읽고 계신 여러분도 사실 이미 Agentic AI 를 사용하고 계실 가능성이 높답니다. 그만큼 빠르게 발전하고 있는 Agentic AI의 가능성을 계속해서 지켜봐주세요!
Agentic AI의 시대는 이미 시작되었어요. 함께 만들어가요!
참고자료
- Vector Institute - Home - Vector Institute for Artificial Intelligence
- Geoffrey Hinton - Geoffrey Hinton - Vector Institute for Artificial Intelligence
- ReAct: Synergizing Reasoning and Acting in Language Models - ReAct: Synergizing Reasoning and Acting in Language Models
- LLM-as-a-Judge: Evaluating LLM-as-a-Judge with MT-Bench and Chatbot Arena - Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- Dense Passage Retrieval for Open-Domain Question Answering - Dense Passage Retrieval for Open-Domain Question Answering
- Multi-Agent Reinforcement Learning: A Selective Overview - Multi-Agent Reinforcement Learning: A Selective Overview of...
- Synthetic Data Generation for Machine Learning - LIGO-India: A Decadal Assessment on Its Scope, Relevance,...
- Agent Collaboration: A Survey - Multi-Agent Collaboration Mechanisms: A Survey of LLMs
- Model Context Protocol (MCP) - What is the Model Context Protocol (MCP)? - Model Context Protocol
- Agent-to-Agent (A2A) Protocol - Agent2Agent (A2A) Project
- Langfuse - Langfuse
- DRAFT - Deep Research Agent Framework Toolkit - GitHub - JeiKeiLim/deep-research-agent-framework-toolkit