Tech Dive

데이터는 쌓이는데 AI는 왜 일하지 못할까? 데이터 거버넌스 협의체가 답을 찾아가는 여정

안녕하세요, AX Data Lab에서 데이터 전략 업무를 맡고 있는 김하빈, 황설욱, 장현지입니다.

AX Data Lab은 KT의 CDO(Chief Data Officer) 조직으로서, 전사 데이터 현안을 발굴하고 AI 전환의 기반을 다지는 핵심 과제를 이행하고 있습니다. 특히 분기마다 경영진과 유관 부서가 함께 모여 데이터 현안 추진의 우선순위를 결정하는 '전사 데이터 거버넌스 협의체'를 시행하며, 데이터가 정책에 머무르지 않고 실제 업무와 AI 플랫폼 위에서 작동하도록 연결하고 있습니다.

올해는 AX Platform Company로의 도약 선언과 함께 데이터 체계에 대한 전사적 관심이 더욱 높아지고 있습니다. 회사 차원의 데이터 준비도, 활용 방식, 리스크 관리, AI 활용 기반을 어떻게 함께 고도화 할 것인지에 대해 경영진 레벨에서도 깊이 있는 고민과 토론이 이어지고 있습니다.

이번 글에서는 AI Agent 시대에 데이터 거버넌스가 왜 다시 중요해지고 있는지, 그리고 전사 데이터 거버넌스 협의체를 통해 KT가 어떤 변화를 만들어가고 있는지 소개합니다.


들어가며: 복잡한 기업 데이터를 운영하기 위한 데이터 거버넌스 체계


데이터 활용은 개인의 업무 환경에서는 비교적 단순하게 느껴질 수 있습니다. 필요한 데이터를 검색해 가져오고, 익숙한 프로그램이나 코드로 가공한 뒤, 기능을 구현하거나 인사이트를 도출하면 됩니다. 그러나 같은 일을 “회사의 데이터”로 “회사 안에서” 수행하려는 순간, 우리는 곧바로 더 복잡한 질문을 마주하게 됩니다.

  • 내가 찾는 데이터는 어디에 있고, 어떤 절차로 사용할 수 있을까?
  • 이 수치는 어떤 의미이며, 어떤 기준과 계산식으로 만들어졌을까?
  • 조직 전체가 같은 기준으로 사용해야 하는 데이터라면 누가 책임지고 관리해야 할까?
  • 이 정보는 개인정보나 기업 민감정보에 해당하지 않을까? 외부 노출이나 오남용 위험은 없을까?

현실의 기업 데이터는 다양한 IT 시스템에서 각자의 목적과 요건에 따라 생성됩니다. 동시에 서로 다른 시스템과 업무 프로세스가 복잡하게 연결되면서, 데이터는 기업의 경험과 업무 결과가 축적된 핵심 자산이 됩니다. 하지만 그만큼 개인정보, 기업 민감정보, 권한 관리, 해석 기준 불일치와 같은 위험도 함께 커집니다.

데이터 거버넌스는 이러한 복잡성을 가진 조직 내 데이터 자산을 효과적으로 관리하기 위해 정책, 프로세스, 역할, 책임, 기술 체계를 공식화하는 접근 방식입니다. 다시 말해 “데이터를 누가, 어떤 기준으로, 어디까지, 어떻게 사용할 수 있는가”에 답하기 위한 체계입니다. 따라서 데이터 거버넌스는 특정 부서의 독자적인 판단만으로 수립·운영되기 어렵습니다. IT 인프라, 보안·정책, 비즈니스, 연구·개발 조직의 이해관계 속에서 공통 기준을 만들고, 실행 가능한 방식으로 조정되어야 합니다.

이미지

AI시대, 데이터의 가치보다 “복잡도”가 먼저 폭발한다


전사 차원의 AI와 Agent 도입이 가속화될수록, 한때 다소 진부한 관리 용어처럼 여겨졌던 “데이터 거버넌스”의 중요성은 오히려 더 커지고 있습니다. AI가 데이터를 더 많이, 더 빠르게 활용할수록 조직은 데이터의 양이나 가치만이 아니라, 그 데이터를 누구나 같은 기준으로 이해하고 활용할 수 있도록 하는 공통의 체계를 함께 갖춰야 하기 때문입니다.

사람이 데이터를 사용하는 환경에서는 규칙이 시스템으로 완전히 강제되지 않더라도 어느 정도 보완이 가능합니다. 구성원들은 암묵적인 약속, 업무 맥락, 상호 확인과 협조를 통해 데이터를 해석하고 활용합니다. 다시 말해, 사람이 사용하는 시스템은 결국 사람의 판단과 행동을 조율함으로써 일정 수준 통제될 수 있습니다.

그러나 데이터의 사용자가 AI Agent가 되는 순간 상황은 달라집니다. AI Agent는 모호한 맥락을 스스로 확인하거나, 조직 내 관행을 눈치껏 해석하거나, 필요할 때마다 담당자에게 양해를 구하며 행동하지 않습니다. 시스템에 정의된 권한, 거버넌스 플랫폼이 제공하는 메타데이터, 사전에 규정된 정책과 기준에 따라 데이터를 조회하고 처리할 뿐입니다.

이미지

이 때문에 데이터 거버넌스는 더 이상 데이터를 관리하기 위한 활동에 머물지 않습니다. 조직 구성원이 AI를 업무에 활용할 때 필요한 데이터를 쉽게 찾고, 신뢰할 수 있는 정보를 기반으로 빠르게 의사결정을 내릴 수 있도록 지원하는 기반이 됩니다. 어떤 데이터가 공식 정보인지, 어떤 KPI 정의가 전사 표준인지, 어떤 데이터를 활용할 수 있는지가 명확하게 정리되어 있을수록 AI는 더 정확하게 사용자를 지원할 수 있습니다.

더 나아가 이러한 기준은 문서 어딘가에 존재하는 수준을 넘어, 사람도 이해할 수 있고 시스템도 참조할 수 있는 형태로 구조화되어야 합니다. 실제로 AI는 왜 기대만큼 일하지 못할까? - Data + AI Summit 2026 참관기 에서도 글로벌 선도 기업들은 데이터 카탈로그, 메타데이터, 용어 표준, 데이터 품질과 같은 거버넌스 요소를 AI 활용의 전제 조건으로 바라보고 있습니다. AI 성능을 높이기 위해 모델만 고도화하는 것이 아니라, AI가 신뢰할 수 있는 데이터를 올바르게 이해하고 활용할 수 있는 환경을 만드는 데 더 많은 관심을 기울이고 있는 것입니다.

AI를 업무에 적용하고, 나아가 AI Agent가 구성원의 일을 대신 수행하게 하려면 단순히 AI 도구를 도입하는 것만으로는 충분하지 않습니다. 실제 업무 영역에서 어떤 데이터를 사용할 수 있는지, 공식 기준과 예외 사항은 무엇인지, 권한과 책임은 어떻게 정의되어 있는지를 AI가 이해할 수 있어야 합니다. 이러한 기반이 갖춰질 때 AI Agent는 조직의 업무 맥락 안에서 더욱 정확하고 신뢰할 수 있게 작동할 수 있으며, 구성원은 데이터를 찾고 확인하는 시간보다 업무 실행과 가치 창출에 더 많은 시간을 사용할 수 있습니다. 결국 AI 시대의 데이터 거버넌스는 통제 체계가 아니라, 사람과 AI가 함께 일하기 위한 생산성 향상 플랫폼이자 신뢰 인프라라고 할 수 있습니다.


협의체로 모으고 실행으로 연결한다: 전사 데이터 거버넌스의 핵심 아젠다


KT는 1년의 여정, AI 시대를 여는 데이터 거버넌스 를 통해 데이터 거버넌스 정책을 수립하고, 이를 IT 시스템에 반영해 운영할 수 있는 기반을 마련했습니다. 이제 중요한 과제는 구축된 도구와 체계 안에 어떤 정책과 원칙을 담을 것인지, 그리고 전사가 데이터 기반으로 움직이기 위해 어떤 실행력을 확보할 것인지였습니다.

이를 위해 KT는 전사 관점의 데이터 거버넌스 의제를 논의하는 협의체 운영에 주목했습니다. 협의체는 단순한 회의체가 아니라, 정책과 방향성을 정하고 주요 의사결정을 조율하며 데이터 체계가 어떻게 구성되고 개선되고 있는지 유관 조직과 공유하는 장치입니다. 기술적 구현만으로는 해결하기 어려운 문제를 조직 간 공통 언어로 정리하고, 실행 가능한 과제로 전환하는 역할을 맡고 있습니다.

실제로 조직마다 시급하다고 판단하는 데이터 문제가 달랐고, 무엇을 먼저 다룰지 결정하는 과정에서도 여러 차례의 논의가 필요했습니다. 특정 조직의 시야만으로는 전사 데이터 거버넌스의 출발점을 정하기 어려웠기 때문입니다. KT는 전사적 파급도, 데이터 활용 빈도, 리스크 수준, 개선 가능성을 함께 고려해 우선순위를 정하고, 오랜 기간 축적되어 온 데이터 이슈 중 실행 과제로 전환할 수 있는 핵심 아젠다를 선별했습니다.

IT 플랫폼 융합을 통한 데이터 거버넌스의 전사 확장


KT는 레거시 IT 시스템 현대화와 차세대 데이터 플랫폼 전환 과정에서 데이터 거버넌스가 함께 작동하도록 정책과 플랫폼에 대한 연계를 지속하고 있습니다. 데이터 거버넌스는 플랫폼 운영 중간 단계에서 사후적으로 적용하기보다, 개선 프로젝트가 시작되기 전부터 설계 원칙과 정책 반영 방식을 함께 검토해야 효과를 높일 수 있습니다. 이를 위해 IT 관할 부서 및 시스템 사용 부서와 사전에 조율하고, 단계적인 적용 방향을 구체화하기 위한 논의를 이어가고 있습니다.

데이터가 처음 만들어지는 순간부터 관리하기

기업의 데이터는 결국 IT 시스템에서 생성되기 때문에, 원천 시스템 설계 단계부터 데이터 표준과 관리 원칙을 반영하는 것이 중요합니다. 시스템 구축 이후에 데이터 표준, 메타데이터, 보안 기준을 뒤늦게 적용하면 품질 문제를 반복적으로 보완해야 하고 비용과 시간이 크게 늘어날 수 있습니다. KT는 주요 시스템 개선과 IT 현대화 과정에 데이터 거버넌스를 함께 적용해 데이터가 처음 만들어지는 순간부터 동일한 기준으로 관리될 수 있도록 데이터 거버넌스의 실제 적용을 확장하고 있습니다.

활용은 넓게, 위험은 낮게: 데이터 컴플라이언스 및 리스크 관리

데이터 활용이 확대될수록 개인정보 보호, 보안, 권한 관리에 대한 요구도 함께 높아집니다. 특히 AI와 Agent가 다양한 데이터를 활용하는 환경에서는 누가 어떤 데이터에 접근하고 어떤 목적으로 사용하는지 명확히 관리해야 합니다. 협의체는 데이터의 출처, 접근 권한, 활용 이력을 체계적으로 관리해 활용은 넓히되 위험은 낮추는 균형 있는 데이터 컴플라이언스 체계를 마련해가고 있습니다.
이미지

전사 데이터 활용 기반 강화


전사 데이터 활용 기반을 강화하기 위해서는 “데이터를 잘 쌓는 것”과 “데이터를 실제로 잘 쓰게 하는 것”이 함께 추진되어야 합니다. KT는 주요 데이터 관리 현황을 점검하고 개선 포인트를 도출하는 한편, 기준정보와 품질 관리 체계를 고도화하고 데이터 플랫폼의 활용 환경을 개선해 데이터 기반 업무 확산을 지원하고 있습니다.

특히 매월 진행된 실무 협의체에서는 사업·IT·데이터 조직이 함께 참여해 현업에서 반복적으로 발생하던 데이터 이슈를 구체적인 실행 과제로 전환하는 활동을 진행했습니다. 그 결과 데이터 표준 적용 대상 확대, 기준정보 관리 체계 개선, 데이터 품질 개선 우선순위 도출 등 여러 항목에 대한 공감대와 실행 방향이 마련되었으며, 일부 과제는 실제 시스템 개선 과제로 연계되고 있습니다.

신뢰할 수 있는 데이터 만들기

AI와 데이터 기반 의사결정의 출발점은 신뢰할 수 있는 데이터입니다. 같은 고객 정보가 시스템마다 다르게 관리되거나 동일한 데이터를 조직별로 다르게 해석하는 문제는 단순 입력 오류가 아니라 핵심 기준정보와 데이터 책임 체계가 분산되어 있기 때문에 발생합니다. 협의체는 이를 전사 공통 과제로 보고 핵심 기준정보 관리 체계와 데이터 품질 관리 체계를 고도화하여, 데이터 생성부터 활용까지 품질을 지속적으로 관리하는 기반을 마련하고 있습니다.

더 많은 사람이 데이터를 활용할 수 있도록

좋은 데이터는 더 많은 구성원이 실제 업무에서 활용할 때 비로소 가치가 커집니다. 데이터 플랫폼을 구축하는 것에 그치지 않고, 임직원이 데이터를 쉽게 찾고 이해하며 활용할 수 있도록 이용 환경과 공유 체계를 개선하는 것이 필요합니다. KT는 자체 데이터 플랫폼 ‘MAGMA’에 AI BI 플랫폼을 연동해 임직원이 자연어 질문으로 데이터 분석과 대시보드를 확인하는 ‘셀프 AI·BI’ 환경을 구축, 자연어 기반 데이터 분석, AI 활용 환경, 데이터 자산 공유 기능 등을 확대해 일부 전문가 중심의 활용을 넘어 전사 구성원이 데이터를 활용하는 생태계를 강화해가고 있습니다. (스트래티지, 데이터·AI 콘퍼런스 개최…KT 디지털 전환 성과 수상)

온톨로지 기반의 AI 활용 준비


AI Agent가 임직원의 업무를 실질적으로 지원하기 위해서는 사내 정형·비정형 데이터와 다양한 업무 지식을 연결 가능한 구조로 정리하는 것이 중요합니다. 온톨로지는 이러한 지식 구조화를 가능하게 하는 핵심 기반입니다. KT는 업무 용어, KPI 정의, 계산 기준, 비즈니스 규칙을 데이터와 연결하는 시맨틱 레이어를 준비하고, 이를 통해 AI가 단순 검색을 넘어 업무 맥락을 이해할 수 있는 기반을 마련하고 있습니다.

AI가 이해할 수 있는 데이터 만들기

AI가 데이터를 실질적으로 활용하기 위해서는 테이블과 문서를 많이 보유하는 것만으로는 충분하지 않습니다. 같은 KPI라도 조직에 따라 의미가 다를 수 있고, 중요한 업무 규칙이 시스템이 아니라 문서나 담당자의 경험 속에 남아 있는 경우도 많기 때문입니다. 

협의체에서는 AI 활용을 위해 우선적으로 정비가 필요한 업무 영역을 선정하고, 데이터뿐 아니라 업무 지식까지 함께 체계화하는 방안을 논의해 왔습니다. AI가 단순히 데이터를 조회하는 것을 넘어 실질적인 업무를 지원하기 위해서는 데이터 자체뿐 아니라 업무 용어의 의미, KPI 정의, 계산 기준과 같은 업무 맥락까지 이해할 수 있어야 하기 때문입니다.

대표 사례로 무선영업실적 AX 과제가 있습니다. 영업 현장에서 활용하는 주요 실적 지표는 그동안 업무 경험과 관행을 바탕으로 활용되어 왔지만, AI가 사람과 동일한 수준으로 업무를 지원하기 위해 지표의 의미와 수식 산출 기준, 데이터 간 관계가 보다 명확하게 정리될 필요가 있었습니다. 이에 협의체에서는 주요 KPI와 업무 용어에 대한 공통 정의를 정립하고, 이를 실제 데이터와 연결하기 위한 방향을 함께 검토했습니다.

이미지

이 과정은 단순히 데이터 항목을 정리하는 작업이 아니라, 사람이 이해하고 활용하던 업무 지식을 AI도 활용할 수 있는 형태로 구조화하는 과정이라고 할 수 있습니다. 협의체에서 논의된 결과는 향후 온톨로지 구축의 기반으로 활용될 예정이며, 이를 통해 AI는 단순 조회를 넘어 데이터의 의미와 업무 맥락을 고려한 분석과 업무 지원을 수행할 수 있게 됩니다. 

KT의 경험을 새로운 경쟁력으로

이러한 온톨로지와 의미 체계 구축 경험은 내부 활용 기반을 넘어 KT의 새로운 경쟁력으로 확장될 수 있습니다. 데이터 품질 관리, 메타데이터 관리, 의미 체계 구축, AI 활용 기반 마련 과정에서 축적한 경험은 대규모 데이터를 실제로 운영하고 개선하며 얻은 자산입니다. 향후 다양한 기업의 AX 추진 과정에서도 데이터 활용과 AI 전환을 지원하는 차별화된 역량으로 발전시켜갈 수 있습니다.


협의체를 통해 함께 만들어가는 전사 데이터 기반 혁신


전사 데이터 거버넌스 협의체의 가장 큰 변화는 데이터 이슈를 개별 조직의 과제로만 보지 않고, 전사 공통의 실행 과제로 다루기 시작했다는 점입니다. 데이터 표준, 기준정보, 품질, 보안, 활용 환경, AI 적용 기반은 서로 분리된 주제가 아니라 하나의 데이터 생태계 안에서 함께 설계되어야 합니다. 협의체는 이 연결 지점을 확인하고, 각 조직의 관점과 실행 계획을 조율하는 역할을 하고 있습니다.

아직 모든 문제가 한 번에 해결된 것은 아닙니다. 다만 주요 데이터 현안을 전사 차원에서 가시화하고, 우선순위가 높은 과제를 선정해 논의와 실행으로 연결하는 구조가 만들어지고 있습니다. 특히 IT 현대화 과정에서 데이터 표준과 관리 원칙을 사전에 반영하고, 전사 데이터 활용 기반을 강화하며, AI Agent가 참조할 수 있는 의미 체계를 준비하는 방향으로 논의가 구체화되고 있습니다.

앞으로 KT는 전사 데이터 거버넌스 협의체를 통해 데이터 생성 단계의 표준 관리, 기준정보와 품질 관리 체계 고도화, 데이터 활용 플랫폼 개선, 온톨로지 기반 시맨틱 레이어 구축을 단계적으로 추진할 계획입니다. 이를 통해 구성원은 더 신뢰할 수 있는 데이터를 더 쉽게 찾고 활용할 수 있고, AI Agent는 조직의 기준과 맥락을 이해한 상태에서 더 안전하고 정확하게 업무를 지원할 수 있을 것입니다.

결국 데이터 거버넌스는 데이터를 통제하기 위한 장치에 머무르지 않습니다. 좋은 데이터가 더 안전하게 흐르고, 더 많은 사람이 같은 기준으로 활용하며, AI가 조직의 업무 맥락 안에서 신뢰할 수 있게 작동하도록 만드는 기반입니다. KT는 이러한 기반을 지속적으로 고도화하며 AX Platform Company로의 전환을 뒷받침하는 데이터 생태계를 만들어가겠습니다.

김하빈, 황설욱, 장현지

데이터가 KT의 실질적인 가치로 전환될 수 있도록 만드는 데이터 전략을 수립하고 있습니다.

←이전 글