Cloud AX Assurance팀의 P.E (Performance Engineer) 구성원은 KT시스템의 안정적 Azure 전환을 위한 Application 성능 검증을 수행하고 있습니다. 

  지난해 KT Azure Landing Zone에 성능 테스트를 위한 환경 구축을 시작으로, 현재까지 22개의 시스템들을 테스트하여 안정적 Azure 전환을 지원 중에 있습니다. 단, 4명의 구성원이 어떻게 이렇게 많은 시스템들을 테스트 했으며, 100% 안정성을 보장할 수 있었는지 소개하도록 하겠습니다.

'25년 내에 142종 KT시스템 Azure 전환.. 실화?!

  '24년 사내 시스템들의 Azure 전환이 확정되고, First Move를 시작으로 빠르게 Azure Migration이 착수 되었습니다. 

  대규모 전환 프로젝트인 만큼 안정성 검증 또한 매우 중요한 화두였고, 이에 중요 서비스를 제공하는 시스템들의 성능 검증을 직접 수행하는 팀과 인력을 구성하게 되었습니다. 이 구성원들에게 부여된 가장 중요한 Mission은 시스템 전환 일정에 맞춰 반드시 성능 검증을 수행해야 하며, 안정성을 보장해야 한다는 것이었습니다.

지피지기면 백전불태

  각 Iteration 마다 수십 종의 시스템들이 Azure로 전환되면서 한 달 안에 시스템 아키텍처 / 도메인 모델 디자인 / 서비스 Flow를 시작으로 인증 / 보안 / 통신 Protocol / System DATA 까지 파악하고 분석해야 했습니다. 성능 검증 전체 TASK 중 ‘분석’ 단계의 소요 일정을 단축해야 Agile한 검증 체계를 확보 할 수 있었습니다.

 
  분석 기간을 단축하기 위해서는 Application 개발/운영 부서와 P.E부서간 Co-Work가 가장 중요하였습니다. 

  이를 위해 ‘성능 검증 가이드’, ‘사전 CheckList’, ‘서비스 필수 운영 정보’ 등을 하나의 가이드북으로 만들어 시스템 부서에 사전에 배포하였고, Application 부서의 작성된 문서를 기반으로 빠르고 효율적인 분석 프로세스를 정립 할 수 있었습니다. 

  부서 간 미팅 전에 Application 담당자는 어떤 부분을 중점적으로 검증해야 하는지 어떤 지원을 해야 하는지 준비할 수 있었고, PE 인력은 해당 시스템이 어떤 서비스를 제공하고 주요 운영 특성이 무엇인지, 주요 서비스 Flow는 어떤지 등을 사전에 이해 할 수 있었습니다.이를 통해 불필요한 Communication에서 오는 Wasting time을 현저하게 줄여 Working Day 기준 20일 이상 소요되는 업무를 10일까지 줄일 수 있게 되었습니다.

백지장도 맞들면 낫다

  100% 안정성 보장을 위한 테스트를 위해서는 ‘설계 단계’에서의 검토가 매우 중요하다고 볼 수 있습니다. 테스트 스크립트 작성 뿐만 아니라 테스트 시나리오가 잘 설정되어야 실제 운영 모드와 동일한 Event들을 발생하여 정확한 테스트를 수행할 수 있습니다.

  더 나은 시나리오 설계를 위해 주 단위 설계 리뷰를 수행하고 있으며, PE 구성원들이 자신이 맡은 프로젝트 뿐만 아니라 다른 프로젝트의 설계 또한 검토하고 토론하는 시간을 갖고 있습니다. 

  설계 리뷰는 단순히 서로의 의견만 제시하고 끝나기 보다는 이를 코드 레벨, 상세 시나리오 설계 등에 적용하고, 추가 피드백을 거쳐 실제 테스트에 반영하고 있습니다.이를 통해 4명의 구성원이 전체 프로젝트를 검토하고 수행하는 역할을 하고 있으며, 실제로 구성원들 간 프로젝트 백업까지 가능하여 업무의 연속성과 생산성을 유지하고 있습니다.

끝날 때까지 끝난 게 아니다…

  아직 하반기에도 82종의 시스템들이 Azure 전환을 준비 중에 있습니다. 저희 팀의 목표는 ‘KT 전체 시스템’에 깐깐한 성능 검증 체계를 도입하는 것입니다. 

  이를 위해 신뢰성과 안정성을 더 높이는 방법을 계속 논의하고, 적용 중에 있습니다.  프로젝트 오픈이나 대규모 이벤트를 앞둔 시스템들이 필수적으로 도움을 요청하는 팀이 될 수 있도록 더 노력하겠습니다.