구축된 데이터 거버넌스, 이제 AI를 위해 쓰다
안녕하세요. KT 기술혁신부문 Decision Intelligence Lab에서 D-Governance 업무를 맡고 있는 이준형, 이하연입니다.서론: 거버넌스는 끝이 아니라, AI가 일하기 시작하는 출발선이다
많은 기업이 AI를 제대로 쓰기 위해 데이터 거버넌스를 구축합니다. 표준을 만들고, 메타데이터를 정리하고, 보안 규칙을 세웁니다. 그런데 정작 AI를 본격적으로 도입·확산하려는 단계에서 자주 멈춥니다."그래서, 이게 AI랑 무슨 상관이 있지?"
- 데이터가 아무리 많아도 의미와 맥락이 정리되지 않으면, AI는 같은 질문에 다른 답을 내놓습니다.
- 출처와 근거를 설명할 수 없는 답변은 의사결정에 쓸 수 없습니다.
- 검증되지 않는 AI는 "지금 이 AI를 써도 되는가?" 조차 판단하기 어렵습니다.
KT는 이 문제를 내부에서 먼저 겪고, 이를 해결하기 위해 데이터 구조와 거버넌스를 AI 관점에서 다시 설계했으며 AI Evaluation 과정을 통해 쓸만한 AI인지 검증하였습니다. 그 과정에서 분명해진 사실은 하나입니다. AI를 도입하기 전에 다음 세 가지 핵심 축이 반드시 갖춰져야 한다는 것입니다.
① 데이터 준비 (Data Preparation): 데이터를 의미·맥락 기반으로 구조화해 AI가 이해하고 활용할 수 있는 상태를 만듭니다.
② 데이터/AI 거버넌스 (Data/AI Governance): 데이터 표준·품질·보안을 체계적으로 관리해, AI가 안심하고 접근 및 활용 할 수 있는 환경을 확보합니다.
③ AI 품질 평가 (AI Evaluation): 데이터 준비와 거버넌스를 기반으로 만들어진 AI가 제대로 동작하는지 AI Evaluation 단계에서 검증합니다.
KT가 구축한 Data to AI 실행 전략은 이 세 축을 중심으로 '데이터는 많지만 AI가 쓸 수 없는 환경'을 'AI가 신뢰할 수 있는 데이터 위에서 의사결정을 자동화하고 실행하는 환경'으로 전환하기 위한 실증된 프레임워크입니다.
데이터 준비: AI가 이해할 수 있는 데이터 만들기
정형·비정형 데이터 준비
AI를 위한 데이터 준비는 단순히 데이터를 모으는 작업이 아닙니다.
여러 시스템에 흩어진 데이터를 중앙화하고 보안 등급을 분류하는 것이 출발점입니다. 이후 표준화와 메타 정비, 개인·민감정보 필터링, 데이터 품질 검증을 거쳐 AI가 실제로 활용할 수 있는 형태로 가공됩니다. 모든 데이터는 입수부터 활용까지 전 과정이 거버넌스 체계 아래에서 관리되며, 이를 서빙 영역까지 일관되게 전달해야 합니다. 이 과정을 거쳐야 데이터는 단순히 '쌓여 있는 정보'가 아니라, AI가 안전하게 활용할 수 있는 신뢰 가능한 자원이 됩니다. 과거에는 정형/비정형 데이터를 사람이 직접 코딩해 정리했지만, 지금은 AI가 비슷한 컬럼과 패턴을 자동 분류하고, PII 처리, 데이터 품질 점검, 가공 처리 등을 수행해 사람이 개입해야 하는 코딩 업무를 최소화한 상태에서 데이터를 자산화합니다.
메타데이터 Enrichment
데이터를 준비했다고 해서 AI가 바로 이해하는 것은 아닙니다. 동일한 지표가 부서마다 다르게 해석되지 않으려면, 데이터 간 관계와 맥락을 연결하는 의미 구조가 필요합니다. KT는 표준화된 논리 데이터 모델과 비즈니스 맥락을 통합한 시맨틱 모델을 구축해, AI가 데이터를 일관되게 해석하고 판단 근거를 설명할 수 있는 기반을 마련했습니다. AI가 데이터의 의미와 관계, 도메인 맥락을 추론해 용어를 다듬고 비즈니스 태그를 자동 부여하는 등 기존에 힘들게 사람이 일일이 작업했던 것을, AI가 먼저 정리하고 사람이 확정하는 구조로 운영됩니다.
비즈니스 맥락을 이해하는 시맨틱·온톨로지 계층은 세 단계로 완성됩니다.
- 기반 조성 (Foundation): 데이터 카탈로그를 확보하고 표준을 적용해, 전체 데이터에 논리적 일관성을 부여합니다.
- 지능화 (Intelligence): 메타데이터를 의미 기반으로 연결하고, 단절된 모델들을 이어줌으로써 AI가 데이터 간 맥락을 이해할 수 있는 구조를 만듭니다.
- 서비스화 (Serving): 사용자의 자연어 질의가 시맨틱 모델의 추론 과정을 거쳐, 실제 데이터 조회 결과로 반환되도록 합니다.
기존 LLM의Top-down 방식과 시맨틱 모델을 활용한Bottom-up 방식을 함께 적용하면, 자연어 질의의 정확도와 일관성이 높아 집니다.
데이터 준비도 평가
모든 조직이 동일한 데이터 성숙도를 갖고 있지는 않습니다. KT는 메타 정보를 기반으로, 데이터가 AI에 얼마나 활용 가능한지를 5단계 준비도 단계로 평가합니다.
1단계(Level1 - Basic)는 데이터가 무엇인지 기본적으로만 식별 가능한 수준으로, 이 단계에서는 AI 도입을 권장하지 않습니다. 2단계(Level2 - Structural)는 구조는 있으나 의미가 부족한 수준으로, 메타데이터를 정비한 후 재평가가 필요합니다. 3단계(Level3 - Descriptive)부터는 의미 기반 활용이 일부 가능해져 제한적인 PoC에 적용할 수 있습니다. 4단계(Level4 - AI-Ready)에 이르면 AI가 실제 업무에 안정적으로 활용할 수 있는 상태가 되고, 5단계(Level5 - Optimize)는 AI 학습과 Agent 자동화까지 가능한 최적화 단계입니다.
핵심은 현재 우리의 위치를 정확히 진단하고, 조직별 상황에 맞는 정비 경로를 설계하는 것입니다. 과거에는 메타데이터 정비에 많은 인력이 필요했지만, 이제는 AI 기술을 활용해 이 정비 시간을 크게 단축할 수 있습니다.
데이터 거버넌스: AI를 쓰기 위한 기준
데이터 준비가 되었다면, 이제 그 데이터를 AI가 안전하게 활용할 수 있도록 보장하는 체계,즉 Data/AI Governance가 필요합니다. 데이터가 아무리 잘 준비되어 있어도, 검증·보안·접근·Output 통제가 없다면 AI 활용은 기업 리스크로 이어질 수 있기 때문입니다.
데이터 거버넌스의 핵심 가치는 안전성과 신뢰성입니다.
안전성은 AI가 접근할 수 있는 데이터의 범위를 명확히 통제하는 것입니다.
KT는 먼저 데이터의 기밀성과 중요도에 따라 보안 등급을 부여하고, 사람과 AI 모두에게 이 등급에 맞는 접근 권한을 체계적으로 적용합니다. 누가, 어떤 AI가, 어디까지 접근할 수 있는지를 일관되게 관리하는 것이 출발점입니다.
신뢰성은 AI 결과물에 근거와 책임을 부여하는 것입니다.
데이터의 표준·품질·리니지를 확보해 출처와 근거를 설명할 수 있는 구조를 마련하고, 근거가 불명확한 답변은 정책적으로 제어하는 Output Control을 통해 관리합니다.
다만 이 모든 정책은 문서로만 존재해서는 효과가 없습니다. KT는 K-meta플랫폼*을 통해 거버넌스 정책과 규칙이 실제 운영 시스템 안에서 자동으로 실행되도록 구현했습니다. 데이터 입수부터 결과 출력까지 거버넌스가 전 과정에 걸쳐 시스템으로 작동하는 구조를 만든 것입니다.
*K-meta 플랫폼: 「1년의 여정, AI 시대를 여는 데이터 거버넌스」(2025.12.11)에서 소개한 KT의 표준 메타데이터 관리 시스템입니다. 표준 단어·용어 등록 및 관리, 데이터 구조와 흐름 검증, 카탈로그 수집 자동화 등을 통해 데이터의 일관성과 품질을 체계적으로 관리합니다.
AI 거버넌스 기반 품질 평가: AI가 제대로 일하고 있는지 검증하기
데이터가 준비되고 거버넌스가 시스템 차원에서 작동하기 시작하면, 다음 단계는 이 기반 위에서 구축된 AI가 실제로 안전하고 신뢰할 수 있는지를 검증하는 것입니다. 이를 위해 반드시 AI Evaluation 과정을 거쳐 그 신뢰성을 입증할 수 있습니다. 편향, 환각, 드리프트 등 생성형 AI 특유의 리스크를 반영한 평가 과정을 AI 기획 → 도입 → 모니터링 전 단계에 걸쳐 촘촘하게 수행함으로써, 프로토타입 수준에 머무르지 않고 실제 비즈니스에 활용할 수 있는 품질까지 끌어올립니다.
이 과정을 통해, 좋은 데이터와 거버넌스 기반 위에서 학습한 AI가 비로소 조직의 자산으로 전환되며, 데이터 준비와 거버넌스를 기반으로 만들어진 AI가 제대로 작동하는지도 AI Evaluation 단계에서 최종적으로 검증합니다.
모델 평가 (MODEL)
우리가 준비한 데이터를 바탕으로 학습된 모델이 실제로 목표한 성능과 품질을 내고 있는지 검증하는 과정입니다. 모델 기획부터 학습, 평가까지 전 단계에서 모델·데이터·평가가 하나의 목표로 정렬되어 세트로 움직입니다.
- 기획 단계: 서비스 목적과 주력 Task 영역을 설정하고, 모델 목적에 맞는 평가 지표와 방안을 설계합니다.
- 학습 단계: 모델 목적에 맞춰 선정한 학습 데이터로 AI 모델을 학습합니다.
- 평가 및 분석 단계: 정량·정성 지표로 모델을 다층적으로 검증하고, 개선 요소를 도출해 부족한 데이터 확보와 재학습으로 이어지는 지속적인 개선 루프를 구성합니다.
모든 단계에서 학습 데이터 리니지를 관리하고, 모델·데이터·평가 체계를 정렬해 이 평가를 통과한 모델만이 상용에 배포될 수 있습니다.
에이전트 평가 (AGENT)
기업 입장에서 AI의 가치는 모델 그 자체가 아니라, 최종적으로 Agent가 실제 업무를 얼마나 정확하고 일관되게 수행하느냐에서 결정됩니다. 멀티 에이전트로 진화하는 상황에서 복합 시나리오에 대한 평가가 더욱 중요해졌습니다.
- 블랙박스 평가: 최종 Output의 품질을 종합적으로 평가합니다.
- 글래스박스 평가: 품질이 낮은 답변에 대해 내부 판단경로(Trajectory)를 추적해 문제의 원인을 구체적으로 파악합니다.
평가 결과는 Agent Feedback Loop을 통해 자동으로 개선으로 이어집니다. AI 거버넌스 관점에서는 AI 로그·프롬프트 등 Agent의 모든 구성 요소를 자산화하고, Agent 간 권한 관리와 접근 제어 체계(ACL/RBAC)를 강화해 잘못된 데이터가 권한 없는 Agent에게 흘러들어가지 않도록 차단합니다.
KT 내부 적용 사례
지금까지 설명한 세 가지 축 (① Data Preparation ② Data/AI Governance ③ AI Evaluation) 이 실제 현장에서 어떤 결과를 만들어냈는지, KT 내부 사례를 소개합니다.
데이터 분석 Agent
경영·전략 의사결정을 지원하기 위해 시각화·데이터 리니지로 판단 근거를 제시하는 Agentic BI 시스템입니다.
이 에이전트가 제대로 작동하려면 먼저 데이터가 준비되어야 했습니다. BIDW, ERP, MDM 등 분산된 경영 데이터를 단일 시스템으로 중앙화하고, 메타데이터 표준화로 부서 간 해석 차이를 없앴습니다. 데이터 리니지를 구축해 지표의 산식과 근거를 투명하게 추적할 수 있게 했고, 비즈니스 로직 문서·재무제표·시장현황 등 비정형 데이터도 실시간 외부 컨텍스트와 함께 자산화했습니다.
이 AI Readiness 기반 위에서 현업·경영진 누구나 자연어 질의만으로 경영 데이터 분석에 참여할 수 있게 되었습니다. 경영·재무 데이터의 출처·산식·기간 기준이 일관되게 적용되면서 사업부 간 엇갈린 해석이 사라졌고, 수작업 취합·보고서 작성·분석 과정이 에이전트로 자동화되면서 집계·분석·이슈 탐지·보고까지 리드타임이 크게 단축되었습니다.
NW 자율운영 에이전트
실시간 네트워크 데이터를 기반으로 이상 탐지·장애 진단·조치 자동화를 수행하는 에이전트입니다.
이 에이전트를 현장에 투입하기 위해 Router, Network Management System 등 분산된 NW 데이터를 Azure Databricks로 통합하고, 고객 민감정보 기준의 보안 등급과 도메인 표준화를 적용했습니다. Azure Event Hubs와 Databricks Delta Lake를 활용해 실시간 데이터 파이프라인도 구성했습니다. 여기에 현장 전문가들과 함께 수년간 쌓아온 장애 대응 노하우를 SOP로 정리해 에이전트가 실제 전문가처럼 판단할 수 있는 기반을 만들었습니다.
이 기반이 갖춰진 덕분에 에이전트는 현장에서 안정적으로 작동할 수 있었습니다. 장애 진단 시간이 기존 20분에서 4분으로 단축되었고, 137개의 장애 진단 시나리오 기준 SOP* 준수율 90% 이상을 달성했습니다.
*SOP(Standard Operational Procedure) : 조직이 업무를 일관되고 안전하게 수행하도록 표준화된 절차와 방법을 문서로 정리한 지침
마무리하며
Garbage In, Risk Out. 준비되지 않은 데이터는 AI 성능 저하를 넘어, 곧바로 조직의 리스크로 이어집니다.
데이터가 AI 관점에서 구조화·정비되지 않으면, 아무리 뛰어난 모델을 도입해도 결과는 불안정하고 설명하기 어려우며, 결국 현업에서 신뢰받기 어렵습니다.
KT는 내부에서 Data Chaos를 직접 경험하면서, 데이터를 단순히 “많이 갖고 있는 것”이 아니라 AI가 신뢰하고 활용할 수 있는 AI Readiness를 확보하는 것이 핵심임을 확인했습니다.
이를 위해 데이터 준비(Data Preparation)로 의미와 맥락을 갖춘 인프라를 만들고, 데이터/AI 거버넌스(Data/AI Governance)로 보안과 책임을 시스템에 내재화하며, AI 평가(AI Evaluation)로 모델과 에이전트의 성능·위험을 정량·정성으로 검증하는 Data to AI 체계를 구축했습니다.
데이터 거버넌스는 끝이 아니라 시작입니다.
AI-Ready 데이터를 상시 유지하고, 민감정보·규제·RAI 가드레일을 파이프라인에 기본 내장하며, Eval-Driven Development로 모델·에이전트를 지속적으로 개선할 때, AI는 PoC를 넘어 실제 비즈니스를 수행하는 에이전트로 자리 잡을 수 있습니다. 그 위에서만 AI는 조직의 일을 대신하고, 운영 자동화와 자율 운영 사례로 확장될 수 있습니다.
AI가 일하는 조직으로 가는 길, 그 출발점은 여전히 데이터입니다.
감사의 말
본 글은 D-Governance 부서에서 작성되었지만, 실제로는 Decision Intelligence Lab 전체가 함께 만든 결과물입니다. Data to AI라는 주제 아래 데이터 준비·거버넌스·평가 전 과정에서의 고민과 시도를 한 곳에 모았습니다.
먼저 「KT 내부 적용 사례」를 이끈 D-Science 담당의 데이터 사이언티스트 여러분께 감사드립니다. 데이터가 분산되고 혼재된 환경에서 데이터를 구조화하고 체계를 세운 노력과 실험, 현장 적용이 없었다면 Data to AI는 실행 전략으로 자리 잡기 어려웠을 것입니다. 또한 D-Quality 부서는 이 기반 위에서 만들어진 AI가 실제로 안전하고 신뢰할 수 있는지 검증하는 핵심 역할을 수행했습니다. AI Evaluation 덕분에 Data to AI 체계의 최종 검증 단계가 완성될 수 있었습니다.
D-Strategy 부서와 D-Governance 부서의 보이지 않는 노고도 특별히 감사드립니다. D-Strategy 부서원들은 방향을 세우고 이해관계자를 조율해 Data to AI가 파일럿을 넘어 회사의 공식 실행 전략이 되도록 했고, D-Governance 부서에서는 이 전략이 실제 데이터·시스템·프로세스에서 작동하도록 기준과 정책을 설계·적용해왔습니다.
이 글은 겉으로는 '데이터'라는 한 단어로 요약되지만 그 뒤에는 데이터를 수집·정비하고, 표준과 거버넌스를 운영하며, AI 모델과 에이전트를 설계·평가하고 현업에 안착시킨 수많은 동료들의 시행착오와 꾸준한 개선 노력이 쌓여 있습니다.
Data to AI 체계를 함께 고민하고 만들어 온 Decision Intelligence Lab과 현업 및 유관 개발 조직 모든 분들께 깊이 감사드리며, 앞으로도 "AI가 일하는 조직"을 향한 이 여정을 함께 이어가고자 합니다.