Dev Stories

RAG보다 앞서는 일: AI가 이해할 수 있는 지식으로의 전환

들어가며: 서로 어긋난 상품 지식

B2B 영업 현장에서는 고객 상황에 맞는 서비스를 고르고, 유사 서비스를 비교하고, 요금을 산정하고, 기술 검토 사항을 확인하는 일이 반복됩니다. 필요한 자료는 이미 K-지존(VoC 응대 중심), Enterprise 포탈(대외 상품 소개 중심) 등에 쌓여 있습니다. 하지만 자료마다 작성 목적과 시점이 달라서 같은 상품에 대해서도 내용이 다른 경우가 많습니다. 이로 인해 같은 질문에도 담당자의 지식과 경험에 따라 답이 달라지고, 복잡한 요금 산정은 고객센터(114)에, 기술 문의는 기술PM에게 의존하는 구조가 이어져 왔습니다.

흩어진 지식을 한곳에 모으려는 디지털 전환(DX)의 시도는 이전에도 있었습니다. 그러나 비정형 자료를 읽고 정리해 기존 자료와 맞추는 일은 여전히 사람의 몫이었고, 그 비용 때문에 정리는 자료가 바뀌는 속도를 따라가지 못했습니다. 모아 둔 지식을 고객 조건에 맞춰 골라내고 조합하는 일도 결국 담당자가 해야 했습니다.

ax-direction_kt.png



AI는 이 두 지점을 바꿀 수 있습니다. 비정형 자료를 해석하고 대조하는 일을 적은 비용으로 반복할 수 있고, 조건이 빠진 질문을 되물어 여러 사실을 하나의 답으로 엮을 수 있습니다. 다만 LLM은 두 자료가 다르다는 것은 알아채도, 어느 쪽이 최신이고 공식적인지 판단할 근거는 갖고 있지 않습니다. 검색 결과에 한쪽 자료만 걸리면 충돌이 있다는 사실조차 드러나지 않습니다. 정비되지 않은 지식 위에서 LLM은 불일치를 그럴듯한 문장 속에 감춘 채 오히려 증폭할 수 있습니다.

이를 방지하기 위해 검색과 생성에 앞서 문서를 AI가 이해할 수 있는 지식 형태로 정비하는 일(AI-ready Knowledge)부터 시작했고, 그 위에서 동작하는 수주지원 Agent를 구축했습니다. 이 글에서는 두 단계에 공통으로 적용한 설계 원칙을 먼저 설명하고, 지식 구축 파이프라인과 Agent 아키텍처를 차례로 소개합니다.


설계 원칙: LLM과 규칙의 역할 분담

위험은 LLM이 판단해서는 안 되는 것까지 판단할 때 생깁니다. 어느 자료가 맞는지, 어떤 서비스를 후보에서 빼야 하는지, 이 금액을 지금 안내해도 되는지 같은 판단이 그렇습니다. 이런 판단을 LLM의 추론에 맡기면 불일치는 문장 안에 감춰진 채 고객에게 전달됩니다. 이를 보완하기 위해 지식 구축부터 응답 생성까지 다음 세 가지 원칙을 일관되게 적용했습니다.

  • 역할 분리(Separation of Concerns): LLM은 자료와 요청을 해석하고, 근거를 고르고, 문장을 만듭니다. 실행 여부 판단, 후보 배제, 최종 검증은 데이터와 규칙이 맡습니다.
  • 실패 시 중단(Fail-closed): 지식끼리 충돌하거나 근거가 부족하면 자동으로 진행하지 않고 멈춥니다. 지식 구축 단계에서는 적재를 중단하고 결과를 보고하며, 응답 단계에서는 추측하는 대신 확인 질문을 하거나 답변을 보류합니다.
  • 근거 기반 응답(Grounded Response): 모든 응답은 검증된 지식과 연결된 출처 범위 안에서만 만듭니다.

아래에서는 지식 구축 파이프라인과 Agent가 각각 이 원칙을 어떻게 지키는지 살펴봅니다.


AI-ready Knowledge: 문서가 아닌 사실 단위의 지식

일반적인 RAG(Retrieval-Augmented Generation) 구축은 문서를 일정한 크기로 나누고(chunking) 임베딩하는 데서 시작합니다. 하지만 원천 자료끼리 내용이 충돌한다면, 아무리 잘게 나눠도 서로 충돌하는 조각만 늘어날 뿐입니다. 이를 해소하기 위해 문서를 나누기 전에 실제 자료를 분석해 AI가 무엇 때문에 잘못 이해하는지 정리했습니다.

AI 인식 오류
대응 방안
상품 명칭 불일치
서비스·상품 기준 정립
작성 시점 차이 및 정보 간 충돌
내용 검증 및 출처 연결
설명 없이 사용한 기술 약어
용어 사전 구축
복잡한 중첩 표·이미지
검색 가능한 구조로 변환

핵심은 지식의 단위를 문서가 아니라 검증된 사실로 정의했다는 점입니다. 문서를 나누면 맥락이 잘린 조각이 남지만, 사실 단위로 관리하면 정보 하나하나가 자신의 기준명, 출처, 적용 조건을 함께 가집니다.


검증 우선 지식 구축 파이프라인

지식 구축 파이프라인은 자료 해석, 지식 구조화, 정합성 검증, 반영의 4단계로 이루어집니다. DX 단계에서 사람이 직접 하던 자료 해석, 항목 정리, 기존 자료와의 대조를 이 파이프라인에서는 AI가 맡습니다. 이미지와 중첩 표는 멀티모달 모델(LMM)이 해석하고, LLM은 모든 단계에 공통으로 쓰이는 추론 레이어로 동작합니다. 사람은 AI가 만든 결과를 검증하고, 충돌이 생겼을 때 어느 쪽이 맞는지 판단하는 데 집중합니다. 덕분에 지식 정비는 일회성 프로젝트로 끝나지 않고, 자료가 바뀔 때마다 다시 수행할 수 있는 작업이 되었습니다.

aidd-knowledge_kt.png


1. 수량·단위·적용 조건의 보존

요금 문의에서 가장 치명적인 오류는 금액을 틀리는 것보다, 그 금액이 적용되는 조건을 잃어버리는 것입니다. 월 기준 정액인지 건수 기준 종량인지, 부가세가 포함되었는지, 몇 회선 구간에 적용되는지가 누락되면 숫자는 맞아도 답은 틀립니다. 이를 방지하기 위해 수량, 단위, 적용 조건을 원천 자료를 해석하는 단계부터 별도의 구조화 항목으로 보존하도록 설계했습니다. 이렇게 보존한 수량 정보는 이후 Agent가 고객에게 무엇을 되물을지 정하는 기준으로도 쓰입니다.

2. 사실 단위 분해와 관계 정의

문서는 그대로 적재하지 않고 기능, 상품 유형, 산업, 규모, 요금, FAQ 단위의 사실로 분해합니다. 분해한 사실은 기존 지식과 대조해 신규, 갱신, 재사용 중 하나로 분류합니다. 이때 서비스 사이의 추천·필수·배제 관계와 상품 사이의 부가·번들 관계도 함께 정의합니다. 이 관계 정보는 Agent가 서비스를 추천할 때 후보를 거르고 조합을 구성하는 근거가 됩니다.

3. 충돌 시 적재 중단과 등록안 검증

새 지식이 기존 지식과 충돌하면 자동으로 덮어쓰지 않고 처리를 멈춥니다. 담당자가 충돌을 정리한 뒤 다시 대조합니다.
자동화 관점에서는 비효율적으로 보일 수 있습니다. 하지만 충돌을 자동으로 해소한다는 것은, 어느 쪽이 맞는지에 대한 판단을 LLM의 추측에 맡긴다는 뜻입니다. 한 번 잘못 적재된 지식은 이후 그 지식을 참조하는 모든 답변의 근거로 쓰입니다. 적재가 조금 늦어지는 비용보다 잘못된 지식이 퍼지는 비용이 훨씬 크다고 판단할 수 있습니다.

4. 재생성 가능한 검색 색인

검색 색인은 정본 DB로부터 언제든 다시 만들 수 있도록 설계했습니다. 임베딩 모델, 벡터 차원, 저장 위치를 하나의 임베딩 프로필로 묶어 색인과 검색이 항상 같은 기준을 쓰도록 했습니다. 문서별 식별자와 내용 해시를 관리해 바뀐 문서만 다시 반영하고, 이전 색인은 새 색인이 완전히 반영된 뒤에만 삭제합니다. 이를 통해 갱신 도중 오류가 나더라도 검색 품질이 떨어지지 않습니다.

이 파이프라인으로 서비스 12종, 지식 327건을 자산화했고, 서비스 1종을 등록하는 기간은 기존 3일에서 1일로 줄었습니다.


수주지원 Agent

수주지원 Agent는 LangGraph로 구성했습니다. 그래프의 흐름은 영업 담당자가 실제로 고객에게 제안하는 순서를 따르도록 설계했습니다. 먼저 고객 조건을 파악하고, 그에 맞는 서비스와 조합을 고른 뒤, 요금과 기술 검토 사항을 근거와 함께 전달합니다. 지원하는 현장 시나리오는 서비스 선정·변경, 유사 서비스 비교, 요금 산정, 기술 검토 네 가지입니다. 포탈과는 A2A(Agent-to-Agent) 프로토콜로 연동되며, 처리 과정이 여러 단계로 이어지므로 진행 상태를 스트리밍으로 전달합니다.
agent-flow_kt.png


1. Capability 단위 작업 분해와 Gate

영업 현장의 질문에는 여러 작업이 섞여 있는 경우가 많습니다. "AI 통화레코딩을 설명하고, 그 기능을 쓸 수 있는 서비스를 추천해줘"라는 요청에는 상품 설명과 서비스 추천이 함께 들어 있습니다. 이런 요청을 하나의 프롬프트로 처리하면, 한 작업에 필요한 조건이 빠졌을 때 응답 전체가 흔들립니다.

턴 계획 단계에서는 요청을 capability 단위의 작업으로 나눕니다. 요청의 해석은 한 번만 하고, 모든 작업이 그 결과를 공유합니다. 이후 Capability Gate가 각 작업을 지금 실행할 수 있는지 판단합니다. 이 판단은 LLM의 추론이 아니라 결정적 규칙에 따릅니다. 예를 들어 서비스 추천은 고객의 요구사항이나 서비스 평가에 필요한 규모(예: 착신 회선 수)가 확인되지 않았다면 실행하지 않고 보류합니다.

2. 놓친 조건을 짚어 주는 확인 질문

영업 현장의 질문은 조건이 빠진 채로 들어오는 경우가 많습니다. 상품을 깊이 알지 못하면 어떤 조건이 답을 바꾸는지 알기 어렵기 때문입니다. 어떤 서비스는 업종에 따라 추천 대상이 달라지지만, 처음 그 상품을 다루는 담당자에게는 이 조건이 왜 중요한지 보이지 않습니다. 이때 빈 조건을 추측으로 채우면 틀린 답이 그럴듯한 모습으로 만들어지고, "정보가 부족합니다"라고만 답하면 사용자는 무엇을 더 알려줘야 할지 모릅니다.

Agent의 확인 질문은 부족한 정보를 요구하는 데서 그치지 않고, 정확한 답을 위해 무엇이 필요한지를 사용자에게 알려 주는 역할을 합니다. 후보 서비스의 카탈로그에 정의된 필수 규모 지표 중 아직 확인되지 않은 항목을 골라 묻고, 후보 서비스들의 권장 규모 구간을 바탕으로 선택지를 함께 보여 줍니다. 사용자는 정확한 수치를 바로 답하지 못하더라도, 선택지를 보며 어느 규모에서 서비스가 갈리는지 알 수 있습니다.

3. Capability Queue: 작업 단위 실행과 상태 기록

Gate를 통과한 작업은 Capability Queue에 들어갑니다. 디스패처는 큐에서 작업을 하나씩 꺼내 해당 capability의 실행 경로로 보냅니다. 실행 결과를 기록한 뒤에는 다시 디스패처로 돌아오고, 큐가 비면 응답 조립 단계로 넘어갑니다. 이 구조로 얻은 이점은 세 가지입니다.

  • 부분 실행: 조건이 부족한 작업만 보류하고, 나머지 작업은 이번 턴에 바로 답합니다.
  • 결과 상태 표준화: 모든 작업 결과는 완료, 확인 필요, 근거 없음, 건너뜀 중 하나의 상태로 기록됩니다. 응답 조립 단계는 이 상태를 보고 어느 부분에 답하고 어느 부분을 되물을지 정합니다. 운영 중에는 어떤 작업이 왜 실행되지 않았는지 추적할 수 있습니다.
  • 확장성: 새 기능을 추가할 때는 capability와 그 실행 경로, Gate 규칙만 추가하면 됩니다. 그래프 전체의 흐름은 바뀌지 않습니다.

4. 근거 검증과 응답 보류

문의에 답할 때는 검색된 문서 중 질문에 직접 필요한 문서만 근거로 사용합니다. 근거가 없거나 출처끼리 내용이 충돌하면 추측해서 답하지 않고, 확인할 수 없는 부분을 명시한 뒤 운영 로그를 남깁니다.

요금은 특히 엄격하게 다룹니다. 가격, 수량, 기간, 적용 조건이 모두 근거에 있을 때 금액을 제시하고, 하나라도 빠지면 부족한 조건을 안내합니다. 마지막으로 응답에서 내부 식별자와 안전하지 않은 표현을 걸러내고, 출처 링크를 함께 제공합니다.

지식 구축 단계의 '충돌하면 멈춘다'는 원칙이 응답 단계에서는 '충돌하면 답하지 않는다'로 이어집니다.


확장: 하나의 지식, 여러 채널

one-portal_kt.png


AI-ready Knowledge에 투자한 이유는 수주지원 Agent 하나에 그치지 않습니다. K-지존, Enterprise 포탈, 사업부서 자료, 기술PM의 노하우를 하나의 Knowledge DB로 모으고, 이 지식을 다양한 채널이 함께 활용합니다. 지식을 한 번 정비하면 사람이 보는 화면과 AI가 답하는 채널이 같은 기준을 공유합니다. 처음 제기한 채널 간 불일치 문제의 해법이 이 구조에서 완성됩니다.


더 나아가 이 지식 DB는 각 사용자가 필요로 하는 자료를 AI로 만들어 내는 기반이 됩니다. 영업 AM은 고객사 업종에 맞춘 제안 자료를, 사업부서는 상품별 설명 자료를 원할 수 있습니다. 같은 지식이라도 필요한 형태는 사용자마다 다릅니다. 이런 자료를 AI로 생성할 때 가장 큰 위험은 AI가 서로 다른 원천을 참고해 또 다른 불일치를 만들어 내는 것입니다. 모든 생성이 검증된 사실 단위의 지식 DB에서 출발하면, 결과물의 형태는 달라도 그 안의 정보는 같은 기준을 따르게 됩니다. 이처럼 AI-ready Knowledge는 AI로 만들어지는 모든 영업 자료가 공통으로 활용하는 기반이 됩니다.


마치며: 그럴듯한 답이 아니라 믿을 수 있는 답

더 좋은 모델이 나오면 이 문제는 저절로 해결될까요? 모델이 아무리 좋아져도, 서로 다른 두 자료 중 어느 쪽이 공식 기준인지는 모델이 정할 수 없습니다. 그 기준을 세우는 일은 결국 지식을 가진 조직의 몫입니다. 

달라진 것은 지속 가능한 체계를 구축할 수 있게 되었다는 점입니다. DX가 지식을 모으는 데서 멈춘 이유는 정비 비용을 사람이 감당할 수 없었기 때문입니다. AI가 해석과 대조를 맡고 사람이 판단에 집중하는 구조에서는, 지식을 한 번 정리하고 끝내는 것이 아니라 계속 현행화해나갈 수 있습니다.

물론 잘 정비된 지식만으로 현장의 질문에 답할 수 있는 것은 아닙니다. 영업 담당자의 질문은 짧고, 조건이 빠져 있고, 대화의 흐름 속에서 의미가 바뀝니다. 어떤 조건이 답을 바꾸는지 알려 주며 되묻고, 실행할 수 있는 작업을 골라 근거와 함께 답하는 일은 Agent의 몫입니다. AI가 이해할 수 있게 정비된 지식과 영업 도메인 흐름대로 설계된 Agent가 함께할 때 비로소 영업 현장이 믿고 쓸 수 있는 답이 만들어집니다.

IMG_8020.jpg


이 프로젝트는 지난 10월 KT의 AX 확산 사례를 공유하는 AID-X Day 에서 발표 세션 아이템으로 소개되었습니다. 발표에 청중으로 참석한 KT 그룹사에서도 도입 검토를 요청할 만큼 반응이 뜨거웠습니다. 흩어지고 서로 맞지 않는 상품 지식, 그리고 그 지식으로 고객 앞에서 정확하게 답해야 하는 현장은 상품을 관리하는 조직이라면 어디에나 있기 때문일 것입니다.

업무 환경에서 AI의 신뢰도는 추측을 줄이고 정확성과 일관성을 확보하는 것에서 시작됩니다. 영업 현장에서 시작한 이 접근이 AI-ready Knowledge를 기반으로 신뢰할 수 있는 AI 업무 환경을 만드는 하나의 기준점이 되기를 기대합니다.

양희원

안녕하세요. IT부문 IT플랫폼본부에서 AI서비스 개발을 진행하고 있는 양희원입니다.