CrewAI 교육에서 얻은 Insight: AI Agent 구축, 실패에서 배운 핵심 원칙

안녕하세요, KT에서 AI 기술전략 업무를 수행하고 있는 윤혜선, 이지우입니다.

2025년 12월 9일부터 11일까지 3일간 CrewAI 사용자 교육에 참석했습니다.

CrewAI Senior Forward Deployed Engineer인 Mike Plachta가 직접 진행한 이번 교육은 단순한 기술 교육이 아닌, 실제 프로덕션 레벨의 Multi-Agent 시스템을 설계하고 구현하는 과정이었습니다.

오늘은 현장에서 직접 경험하고 배운 내용 중, 실무에 바로 적용할 수 있는 핵심 인사이트를 공유 드리려 합니다.

특히 교육 중 겪은 실패 경험과, 현재 진행 중인 MI(Market Intelligence) Agent 고도화 과정에서 체득한 원칙들을 함께 담았습니다.

1. 왜 지금 Agent인가

글로벌 컨설팅사들의 Agent 도입 현황을 살펴보면, McKinsey의 Lilli는 리서치 시간을 30% 단축했고, BCG의 Dexter는 슬라이드 작업을 50%나 줄였다고 합니다. PwC는 무려 250개의 Agent를 운영 중이라는 이야기에 저희도 적잖이 놀랐습니다.

특히 인상 깊었던 건 Agent-Native 신생 기업들의 사례였습니다. Dialogue라는 회사는 시장조사 8주를 단 1일로 단축했고, Xavier AI는 전략 보고서를 1분 만에 생성한다고 합니다.

McKinsey(2025)가 "전략은 더 이상 연 1회 문서가 아니라, 지속적으로 업데이트되는 동적 시스템"이라고 선언한 배경이 이해가 되었습니다.

2. Crew vs Flows: 언제 무엇을 쓸 것인가

교육 첫날, Mike는 CrewAI의 핵심 철학을 이렇게 설명했습니다:

구분	Crew	Flow
실행 방식	추론 기반 (ReAct Loop)	Python 로직 기반
결정론성	비결정적 과정	결정론적
유연성	높음	중간
적합한 작업	복잡한 분석, 리서치	규칙 기반 워크플로우
기업 적합성	분석/MI 업무	보안/승인/정책 관리

Mike가 강조한 핵심은 "대부분의 경우 두 가지를 결합해서 사용하는 것이 가장 안정적"이라는 점이었습니다.

권장 구조:

TypeScript
     JavaScript
    
     TypeScript
    
     Python
    
     Java
    
     C
    
     C++
    
     C#
    
     Go
    
     PHP
    
     Ruby
    
     Swift
    
     Kotlin
    
     Rust
    
     Scala
    
     SQL
    
     Bash
    
     Shell
    
     HTML
    
     CSS
    
     JSON
    
     XML

Flow (입력 정제/조건 분기)
  ↓
Crew (분석/리서치)
  ↓
Flow (포맷팅/저장)12345

이렇게 하면 Flow는 예측 가능한 전처리/후처리를, Crew는 창의성이 필요한 핵심 작업을 담당하여 안정성과 유연성을 동시에 확보할 수 있습니다.

해커톤에서는?

3일차 해커톤에서는 시간 제약상 Crew만으로 구축했습니다. 컨퍼런스 분석이라는 "판단이 필요한 작업"의 핵심 로직 검증에 집중하기 위해서였습니다.

하지만 실제 프로덕션 환경에서는 Mike의 권장대로 Flow + Crew 결합 구조로 고도화할 예정입니다. 입력 데이터 검증, 결과 포맷팅, 저장 로직 등을 Flow로 감싸는 방식입니다.

3. Agent 구축 4대 원칙

교육에서 가장 강조된 내용은 "Agentic AI 자체보다, 유즈케이스 설계와 구조화가 성공을 결정한다"는 점이었습니다. Mike는 고객들이 Agent를 너무 빨리 구축하려다 겪는 문제들을 4가지 핵심 원칙으로 정리해주었습니다.

원칙 1: 충분한 기획 시간 투자

사람이 실제로 수행하는 프로세스에 대해 먼저 깊이 생각하는 시간이 필수입니다. 예를 들어 채용 담당자가 1,000개의 이력서를 검토하는 경우, 어떤 데이터가 필요하고 어떻게 평가할지 사전에 면밀히 기획해야 합니다.

원칙 2: 성공 기준 명확화

"이 크루가 성공적으로 동작하고 있다"는 상태를 구체적으로 정의해야 합니다. 이력서 평가 시스템이라면 "1,000명 중 30명을 선별하여 다음 단계로 전달"처럼 측정 가능한 목표가 필요합니다.

구체적인 예시:

Python
     JavaScript
    
     TypeScript
    
     Python
    
     Java
    
     C
    
     C++
    
     C#
    
     Go
    
     PHP
    
     Ruby
    
     Swift
    
     Kotlin
    
     Rust
    
     Scala
    
     SQL
    
     Bash
    
     Shell
    
     HTML
    
     CSS
    
     JSON
    
     XML

# 예: 이력서 스코어링 Crew
input: 1,000명 지원자
expected_output: 약 30명 선별 (상위 3%)
success_criteria:
  - 선별 인원: 25-35명
  - 처리 시간: 10분 이내
  - 일관성: 동일 이력서 재실행 시 동일 결과1234567

원칙 3: 1 Agent = 1 Job

하나의 Agent에 너무 많은 작업을 몰아넣지 말아야 합니다. 이력서 평가라면 정보 추출, 온라인 리서치, 기준 평가, 스코어링을 각각 별도 Agent로 분리합니다. 이렇게 하면 디버깅이 쉽고, 특정 단계만 개선하거나 병렬 처리도 가능해집니다.

원칙 4: 지속적 측정/평가

결과물의 품질을 지속적으로 측정하고, 이상치가 없는지 확인하며 개선해야 합니다. "잘 되는 것 같다" 수준이 아니라 실제 수치로 확인하는 것이 중요합니다.

그리고, 80:20 룰

Mike가 특히 강조한 부분은 80% 시간을 Task 정의에, 20%를 Agent 정의에 투자하라는 것이었습니다. Task Description과 Expected Output이 명확해야 아무리 훌륭한 Agent라도 원하는 결과를 얻을 수 있습니다.

개인적으로 이 부분이 가장 인상 깊었고, MI Agent 고도화 과정에서도 가장 많이 체감하는 원칙입니다.

4. 해커톤: 실패에서 배운 것들

3일차 해커톤에서 저희 팀은 국내 IT 기업 컨퍼런스 30개+ 세션을 분석해 전략 보고서를 자동 생성하는 Crew를 구축했습니다.

1차 시도: 완전한 실패

처음에는 완벽한 보고서를 목표로 했습니다. 공식 자료, 언론 보도, 유튜브 영상, 발표자 인용까지 모두 포함하려 했죠.

결과는 실패였습니다.

예상 실행 시간 1-2시간 → 실제 10시간 이상 소요 예상
유튜브 크롤링 불가
Agent 간 데이터 전달 꼬임
디버깅 불가능

2차 시도: 4대 원칙 적용

Mike의 피드백을 받아 전면 재 설계했습니다.

유튜브 크롤링 제외 (보안 문제, SaaS 한계)
공식 자료만 사용
7개 Agent로 One Agent = One Job 엄격 적용
Guardrails로 소스 링크 자동 검증

결과: 예상시간 10시간 → 실제 19분 (97% 단축)

재설계된 아키텍처

TypeScript
     JavaScript
    
     TypeScript
    
     Python
    
     Java
    
     C
    
     C++
    
     C#
    
     Go
    
     PHP
    
     Ruby
    
     Swift
    
     Kotlin
    
     Rust
    
     Scala
    
     SQL
    
     Bash
    
     Shell
    
     HTML
    
     CSS
    
     JSON
    
     XML

┌─────────────────────────────────────────────────────────┐
│ Phase 1: 데이터 수집 (5분) │
│ ├─ Agent 1: Data Collector [3분] │
│ └─ Agent 2: Content Extractor [2분] │
├─────────────────────────────────────────────────────────┤
│ Phase 2: 분석 (11분) │
│ ├─ Agent 3: Trend Synthesizer [5분] │
│ ├─ Agent 4: Risk Analyzer [4분] │
│ └─ Agent 5: Session Categorizer [2분] │
├─────────────────────────────────────────────────────────┤
│ Phase 3: 보고서 (3분) │
│ ├─ Agent 6: Executive Summary [2분] │
│ └─ Agent 7: Report Compiler [1분] │
└─────────────────────────────────────────────────────────┘
                    총 소요: 19분
123456789101112131415

Task 정의 예시

실제로 작성한 Task 정의 중 하나입니다:

TypeScript
     JavaScript
    
     TypeScript
    
     Python
    
     Java
    
     C
    
     C++
    
     C#
    
     Go
    
     PHP
    
     Ruby
    
     Swift
    
     Kotlin
    
     Rust
    
     Scala
    
     SQL
    
     Bash
    
     Shell
    
     HTML
    
     CSS
    
     JSON
    
     XML

agent: Trend Synthesizer
role: Senior Technology Trend Analyst
goal: 5대 핵심 트렌드 도출 (Agentic AI, Multi Agent 중심)

expected_output:
  format: 마크다운 표
  content:
    - 3-5개 트렌드 (명확한 설명)
    - 각 트렌드별 증거 3개 이상
    - 전략적 시사점
    - 타임라인
    - 관련성 순위
  constraint: 모든 정보에 소스 URL 필수12345678910111213

이러한 실패 경험이 4대 원칙의 중요성을 체감하게 해주었습니다.

5. 트러블슈팅: 실제 겪은 이슈들

해커톤과 이후 MI Agent 고도화 과정에서 겪은 핵심 이슈들입니다.

Agent 간 데이터 전달 실패

증상: 이전 Agent의 output이 다음 Agent에 제대로 전달되지 않음

원인: output 포맷이 명확하지 않아 파싱 실패

해결: output 포맷을 JSON 스키마로 명확히 정의

TypeScript
     JavaScript
    
     TypeScript
    
     Python
    
     Java
    
     C
    
     C++
    
     C#
    
     Go
    
     PHP
    
     Ruby
    
     Swift
    
     Kotlin
    
     Rust
    
     Scala
    
     SQL
    
     Bash
    
     Shell
    
     HTML
    
     CSS
    
     JSON
    
     XML

output_format:
  type: json
  schema:
    trends: list[Trend]
    sources: list[URL]
    confidence: float123456

이 변경 만으로 Agent 간 데이터 전달 성공률이 크게 향상되었습니다.

환각(Hallucination) 발생

증상: 존재하지 않는 소스 링크 생성

해결: Guardrails 추가로 모든 소스 URL 자동 검증

실제로 작성한 Guardrails 코드:

TypeScript
     JavaScript
    
     TypeScript
    
     Python
    
     Java
    
     C
    
     C++
    
     C#
    
     Go
    
     PHP
    
     Ruby
    
     Swift
    
     Kotlin
    
     Rust
    
     Scala
    
     SQL
    
     Bash
    
     Shell
    
     HTML
    
     CSS
    
     JSON
    
     XML

```python
@guardrail
def validate_sources(output):
    """모든 소스 링크가 유효한지 검증"""
    for source in output.sources:
        if not is_valid_url(source):
            raise ValidationError(f"Invalid source: {source}")
    return output

@guardrail
def enforce_source_links(output):
    """모든 트렌드에 소스 링크가 있는지 확인"""
    for trend in output.trends:
        if not trend.sources or len(trend.sources) < 3:
            raise ValidationError(
                f"Trend '{trend.name}' needs at least 3 sources"
            )
    return output
```12345678910111213141516171819

Guardrails 적용 후 환각으로 인한 거짓 정보가 제거되었습니다.

문제 3: 실행 시간 예측 불가

증상: 같은 Crew인데 실행 시간이 5분~30분으로 편차

원인: LLM 응답 시간 변동 + 재시도 로직 미흡

해결:

timeout 설정
단계별 로깅 추가
병렬 실행 가능한 Agent 식별

Python
     JavaScript
    
     TypeScript
    
     Python
    
     Java
    
     C
    
     C++
    
     C#
    
     Go
    
     PHP
    
     Ruby
    
     Swift
    
     Kotlin
    
     Rust
    
     Scala
    
     SQL
    
     Bash
    
     Shell
    
     HTML
    
     CSS
    
     JSON
    
     XML

# timeout 설정 예시
task = Task(
    description="...",
    expected_output="...",
    agent=trend_analyzer,
    timeout=300 # 5분 제한
)
12345678

6. 현재 진행 중: MI Agent 고도화

저희 팀은 현재 해커톤에서 구축한 컨퍼런스 분석 Crew를 MI(Market Intelligence) Agent로 고도화하는 과정 중에 있습니다.

실제로 해보면서 가장 중요하다고 느낀 것들:

1. "작게 시작하고, 작게 실패하라" : 완벽한 설계보다 빠른 검증이 중요

2. "Output 포맷이 곧 계약서다" : Agent 간 데이터 전달의 핵심

3. "안 되는 건 과감히 버려라" : 유튜브 크롤링처럼 불안정한 요소는 제외

4. "소스 링크는 생명선이다" : Guardrails로 환각 방지 필수

특히 2번 원칙은 정말 중요합니다. Agent 간 계약(Contract)을 명확히 하지 않으면 디버깅이 불가능해집니다.

향후 적용 계획

이번 교육 내용을 바탕으로 경쟁사 컨퍼런스 분석, 글로벌 행사 모니터링, 업계 리포트 요약 등의 업무에 우선 적용해볼 계획입니다. CrewAI의 Multi-Agent 구조가 K-HUB, 믿:음 K 등 KT 내부 AI 플랫폼과 어떻게 연계될 수 있을지도 함께 검토하고 있습니다.

6. 마무리

3일간의 CrewAI 교육에서 얻은 가장 큰 배움:

기술 이전에, 설계 단계가 중요하다

4대 원칙과 80:20 룰은 CrewAI뿐 아니라 어떤 Agent 시스템을 구축하든 적용할 수 있는 보편적인 원칙입니다.

Agent 시대가 도래하고 있습니다. 중요한 것은 유즈케이스를 얼마나 잘 설계하느냐입니다.

Agent 구축 및 실무 적용에 관심 있으신 분들께 이 교육 내용이 도움이 되었으면 좋겠습니다.

Based on CrewAI Training (2025.12.9-11, 광화문 West)