경량화는 기술이자 전략이다 – AI 서비스의 문을 여는 열쇠

어떤 팀에서 일하고 계신가요?

  저는 KT AI Engineering팀에서 근무하고 있습니다 우리 팀은 모델 경량화, Serving(서빙), 그리고 기술 전략을 담당합니다. 모델 경량화는 LLM의 크기를 줄여 정확도를 최대한 보존하면서 압축률을 높이는 것을 목표로 합니다. Serving은 모델을 실제 서비스에서 사용할 수 있도록 API 형태로 제공하고, 서비스 제약 조건을 만족하면서 처리량과 응답 속도를 최적화하는 역할입니다. 기술 전략은 믿:음 모델 관련 대내외 협업, 예산 관리, 프로젝트 기획을 포함합니다. 최근에는 양자화(Quantization), 프루닝(Pruning), 지식증류(Knowledge Distillation) 같은 최신 경량화 기법과 TensorRT, ONNX Runtime, DeepSpeed 기반 Serving 최적화 기술을 적극 도입하고 있습니다.

  저는 모델 경량화와 Serving을 담당하며 프로젝트의 중간 관리자 역할도 수행합니다. 구체적으로는 모델 양자화, 가지치기, 지식증류를 통한 경량화와 Serving Framework 내부 구조 최적화를 진행합니다. 목표는 모델 정확도를 유지하면서도 메모리 사용량과 응답 지연을 최소화하는 것입니다.

  KT가 첫 직장이며 현재 7년 차입니다 입사 후 약 4년간 Genie TV 추천 시스템과 AICC 사용자 의도 분류 모델 개발 등 TA(Text Analysis) 업무를 수행했습니다. 2022년부터는 LLM 경량화 및 Serving 업무를 맡아 대규모 모델을 실제 서비스 환경에서 효율적으로 운영하는 데 집중하고 있습니다.

  '이제 모델이 훨씬 가볍고 빠르다'는 피드백을 받을 때입니다 경량화는 단순히 모델 크기를 줄이는 것이 아니라 AI 서비스의 실현 가능성을 넓히는 핵심 기술입니다. 단기적으로는 믿:음 모델의 경량화 표준을 확립하고, 장기적으로는 국내 최고 수준의 LLM Serving 기술을 확보해 글로벌 경쟁력을 갖추는 것이 목표입니다.

  H/W와 모델 동작 원리에 대한 깊은 이해가 필수입니다. LLM이 GPU, CPU, NPU 등 다양한 하드웨어에서 어떻게 작동하는지 알아야 최적화 방향을 정할 수 있습니다. 또한 양자화, 프루닝, 지식증류 같은 최신 경량화 기법과 Serving 아키텍처에 대한 이해가 필요합니다. 최근에는 ONNX Runtime, TensorRT, DeepSpeed 등 Serving 최적화 프레임워크 활용 능력도 중요합니다. 무엇보다 성능-비용-정확도 간의 균형을 설계하는 감각이 핵심입니다.

  AICC 사용자 의도 분류 모델 고도화 프로젝트입니다. 기존 규칙 기반 시스템과 모델을 결합해 신뢰도(Confidence) 보정을 수행했습니다. 기존 모델은 과신(Overconfidence) 경향이 있어 사람이 직관적으로 이해하기 어려웠습니다. 이를 해결하기 위해 신뢰도 보정 모델을 설계해 분류 결과는 그대로 유지하면서 신뢰도 분포를 직관적으로 해석 가능하게 만들었습니다. 이후 임곗값(Threshold) 최적화 알고리즘을 적용해 모델 변경 없이도 시스템 분류 정확도를 약 1.2%p 향상시켰습니다. 이 프로젝트는 모델 성능 개선뿐 아니라 사용자 경험(UX)까지 고려한 최적화 사례로 상용 서비스에 적용되어 의미가 컸습니다.

  의견 충돌이 있을 때는 주관적 주장보다 객관적 근거를 제시합니다. 외부 공개 자료나 벤치마크 결과를 활용해 설득하고 데이터 기반 의사결정을 지향합니다. 일정 압박이 심한 경우에도 우선순위 정리 → 영향도 분석 → 단계적 실행으로 문제를 해결합니다.

  ‘함께 즐겁게 일하며 성장합시다’ 모델 경량화와 Serving은 AI 서비스의 실현 가능성을 결정하는 핵심 기술입니다. 도전적이지만 그만큼 기술적 성취감이 큰 분야입니다. 새로운 아이디어와 열정을 가진 분이라면 저희 팀에서 최신 기술을 실무에 적용하는 즐거움을 경험할 수 있을 겁니다.