그림1. 7월 AX Tech Connect에 Physical AX 담당에 방문에 주신 많은 분들과, 통신국사 점검 로봇 데모 모습
안녕하세요, KT AX미래기술원 Physical AX담당 김대운, 노영현, 한장혁입니다.
저희는 KT Physical AI의 일환인 통신국사 점검 로봇이 사용하는 두 가지 AI 모델 — 비전-언어-행동 모델 VLA(Vision-Language-Action)과 비전-언어 모델 VLM(Vision-Language Model) — 을 개발하고 있습니다.
저희 담당에서 개발 중인 로봇에 관해서는 이전에 작성된 「Physical AI Data Flywheel: Physical AI 시뮬레이션 데이터 구축기」 를 참고하시면 이해에 도움이 될 것 같습니다.
"로봇이 점검한 '결과'는 누가 만들어 주나요?"
"로봇에 VLA가 올라가 있고, 그 안에 VLM이 이미 있잖아요. 별도의 VLM은 왜 또 필요한가요?"
- 통신사인 KT가 왜 Physical AI를 직접 하는가
- 왜 Edge VLM이 필요한가
잠깐, 용어 정리 — 여기서 'Edge'는 작은 컴퓨터가 아닙니다 'Edge AI'라고 하면 보통 스마트폰이나 IoT 기기처럼 작고 전력이 제한된 장치에서 돌아가는 AI를 떠올리게 됩니다. 이 글에서는 반대입니다. 저희가 말하는 Edge는 로봇 '밖'에, 그러나 클라우드보다 훨씬 '가까이' — 즉 로봇이 일하는 국사 안에 둔 고성능 GPU 서버를 뜻합니다. 클라우드에서 보면 네트워크의 가장자리(Edge)에 있는 자원이지만, 로봇에게는 자기보다 훨씬 큰 두뇌입니다. 그래서 저희는 이 서버를 Edge AI Server, 그 위에서 돌아가는 판독 모델을 Edge VLM이라고 부릅니다.
1. 통신사는 왜 국사에 로봇을 들일까
- 첫째, 현장이 우리 것입니다. Physical AI의 가장 큰 벽은 모델이 아니라 '진짜 현장'입니다. 로봇을 검증할 실제 환경은 아무나 가질 수 없습니다. 저희에게는 전국의 국사가 있습니다. 실증을 위해 남의 현장을 빌릴 필요가 없습니다.
- 둘째, 문제가 우리 것입니다. 어떤 장비의 어떤 LED가 무엇을 뜻하는지, 자산 바코드 체계가 어떻게 생겼는지, 점검 항목이 무엇인지. 이 도메인 지식은 검색으로 얻을 수 없고, 저희 안에만 있습니다. 범용 AI가 채우지 못하는 마지막 간극은 문제를 직접 가진 조직만 채울 수 있습니다.
- 셋째, 인프라가 우리 것입니다. 그리고 이것이 이 글 후반부의 주제입니다. 국사는 로봇의 일터인 동시에, 고성능 GPU 서버(Edge AI Server)와 통신망이 있는 곳입니다. 로봇이 일하는 곳과 로봇의 두뇌가 살 곳이 같은 건물이라는 것. 통신사만 가진 조건입니다.
2. 로봇에게 점검을 시켜 보면 — 행동과 기록은 다르다
그림2. 서버랙 예시 (실제 서버실의 모습을 공개할 수 없어, AI에 의해 생성된 이미지를 첨부드립니다)
- 랙 앞으로 이동해서, 시점을 잡고, 팔을 뻗는다 → 행동
- 자산 바코드를 읽고, LED 상태를 판독하고, 장비가 몇 U에 있는지 적는다 → 기록
요즘 로봇의 두뇌로 쓰이는 VLA(Vision-Language-Action) 모델은 이름 그대로 눈(카메라)과 말(지시)을 받아 행동을 내놓는 모델입니다. "1234 서버랙 3번 유닛 자산을 확인해라”라고 하면, 팔을 어떻게 움직일지를 스스로 판단합니다. 그런데 함정이 하나 있습니다. 점검의 최종 산출물은 팔의 움직임이 아닙니다. 점검이 끝나면 시스템에는 이런 데이터가 남아야 합니다.
2U크기 서버 / 자산 라벨 좌측 하단 / 자산번호 ○○○-12345 / 전원 LED 정상
3. 왜 Edge VLM인가
그림3. NVIDIA의 GR00T 모델 구조 (System 2 VLM → System 1 → 액션 디코더) 링크
"VLA 안에 VLM이 있는데요?"
- 첫째, VLA의 VLM은 '말하지' 않습니다. GR00T와 같은 VLA에서 System 2의 VLM이 만든 이해(임베딩)는 액션 디코더가 모터 신호를 만드는 재료로 소비될 뿐, 텍스트로 나오는 출구 자체가 없습니다. 이건 결함이 아니라 의도된 설계입니다. 로봇의 동작 생성은 초당 수십~수백 번씩 이루어져야 합니다. GR00T N1 기준으로 액션 생성부(System 1)는 120Hz로 도는데, VLM이 글자를 토큰 하나씩 이어 붙여 만드는 속도는 이를 도저히 따라갈 수 없습니다. 그래서 VLA는 행동 생성에 불필요하고 속도만 늦추는 텍스트 출력 경로(LM head)를 아예 두지 않습니다. "이 자산 번호 읽어줘"라고 말해도 돌아오는 답이 글자가 아니라 팔의 움직임인 이유입니다. 눈은 있는데 입이 없는 구조 — 정확히는, 입을 달 이유가 없어서 달지 않은 구조입니다.
- 둘째, 애초에 배운 적이 없습니다. VLA의 학습 데이터는 (관측, 지시, 행동)으로 이루어진 궤적이고, 학습 목표는 행동 생성입니다. "글자를 읽어라" 같은 판독 과제는 데이터에도, 목적함수에도 없습니다. 시키지 않은 일을 잘하길 기대할 수는 없습니다.
- 셋째, 요구되는 정확도의 종류가 다릅니다. 물건을 집는 데는 '대략 어디에 무엇이 있는지'면 충분합니다. 그런데 자산 번호는 한 글자만 틀려도 다른 자산이 됩니다. 행동을 위해 최적화된 시각 표현에, 문자 단위의 판독을 맡기기는 어렵습니다.
그림4. Gemini Robotics-ER 1.5 아키텍쳐 링크
업계도 두뇌를 나누고 있습니다
Google DeepMind의 Gemini Robotics가 이 구도를 가장 선명하게 보여줍니다. Gemini Robotics는 처음부터 두 모델의 협업으로 설계하였습니다. 로봇 위에서 모터를 제어하는 VLA와, 그 바깥에서 상황을 이해하고 계획하는 ER(Embodied Reasoning) 모델을 두고 있습니다.
올해 4월의 Gemini Robotics-ER 1.6은 압력 게이지의 바늘을 읽는 능력을 전면에 내세웠습니다. 그리고 지난 7월 발표된 Gemini Robotics-ER 2에서는 VLA · 온디바이스 VLA · ER 2 세 모델이 아예 한 세트로 나왔습니다. ER 2는 멀티스텝 작업을 계획하고 진행 상황을 검증하는 '상위 두뇌'이고, 모터 실행은 하위 VLA에게 넘깁니다. VLA를 도구(tool)처럼 부르는 구조입니다.
ER이 강조하는 능력의 목록을 보면 흥미롭습니다. 계기 판독, 진행 상황 확인, 성공·실패 판정. 저희가 국사에서 하려는 판독과 정확히 같은 부류입니다.
즉, "행동은 로봇 안의 모델이, 이해·계획·판독은 바깥의 큰 모델이"라는 분업이 Physical AI가 향하는 유력한 방향 중 하나로 떠오르고 있습니다. 적어도 이 분업이 저희만의 선택이 아니라는 점은 분명합니다.
그렇다면 남는 질문은 하나입니다. 그 '바깥'을 어디에 둘 것인가.
4. 왜 '국사' Edge인가 — 통신사의 답
"그 판독용 VLM도 그냥 로봇에 넣으면 되지 않나요?"
넣을 수는 있습니다. 다만 대가가 있습니다.
| 클라우드 (Gemini의 답) | 국사 Edge AI Server (저희의 답) | |
|---|---|---|
| 두뇌가 있는 곳 | 외부 데이터센터 | 로봇과 같은 건물 |
| 데이터 이동 | 설비 영상이 인터넷을 건너감 | 사옥 밖으로 나가지 않음 |
| 지연 | 공용 인터넷 상황에 좌우 | 자사망이라 짧고 예측 가능 |
| 모델 선택 | 제공되는 모델 사용 | 필요한 모델을 직접 선택·교체 |
Gemini의 답은 클라우드였습니다. 저희의 답은 Edge AI Server입니다.
여기서 '답'이란, 판독과 계획을 맡는 상위 두뇌를 어디서 돌리느냐입니다. Gemini의 ER은 클라우드 API로 제공됩니다. 로봇이 본 장면이 인터넷을 건너 구글의 데이터센터로 가서 판독되고, 결과가 다시 로봇에게 돌아오는 구조죠. 전 세계 누구에게나 제공해야 하는 범용 서비스라면 합리적인 선택입니다. 하지만 저희의 현장에 그대로 가져오면 두 가지가 걸립니다. 국사 설비 영상이 외부로 나가야 한다는 점, 그리고 지연이 공용 인터넷 상황에 좌우된다는 점입니다.
저희의 답인 Edge AI Server는 기존의 클라우드–디바이스 분업 구조를 유지하면서도, 그 핵심 두뇌를 통신국사, 즉 현장 가까이로 가져온 구조입니다. 데이터가 건물 밖으로 나가지 않으니 보안성과 데이터 주권을 지킬 수 있고, 로봇과 AI 서버 사이는 저희가 직접 운영하는 망으로 이어져 있어 초저지연 네트워크를 확보해 나가기에 유리한 구조입니다.
이 '초저지연'이 왜 중요한지는 로봇의 동작을 따라가 보면 분명해집니다. 로봇이 주변을 실시간으로 인식하고 판단하려면, VLM이 Edge AI 환경에서 즉시 응답해야 합니다. 영상이 서버로 빠르게 넘어가고, 추론 결과가 곧바로 로봇에게 돌아와야 하죠. 결국 Edge AI Server와 그 사이를 잇는 네트워크는 로봇의 눈(VLM)과 두뇌(AI), 그리고 행동(제어)을 하나의 실시간 고리로 묶습니다. 이 고리가 촘촘할수록, 로봇은 현장을 이해하고 스스로 판단해 즉각 움직일 수 있습니다. 이것이 저희가 초저지연 네트워크 기술을 중요한 과제로 보고 지속적으로 추진해 나가는 이유입니다.
또한 어떤 AI 모델을 사용할지 저희가 직접 선택하고 교체할 수 있어, 현장 목적에 맞는 최적의 AI를 유연하게 적용할 수 있다는 장점도 있습니다.
1장에서 말씀드린 세 번째 이유를 다시 꺼내 보겠습니다. 국사는 점검의 '대상'이면서, 동시에 Edge '인프라'입니다.
- 점검 현장과 Edge 서버가 같은 건물에 있습니다.
- 로봇이 촬영한 설비 영상은 그 자체로 민감한 데이터인데, 이 구조에서는 사옥 밖으로 한 발짝도 나가지 않고 판독됩니다.
- 로봇과 Edge를 잇는 저지연 연결은 저희가 가장 잘하는 일, 통신입니다.
역할 분담은 이렇게 정리됩니다.
밀리초의 액션 루프는 로봇 안에서. 초 단위의 판독·검증·리포팅은 국사 Edge에서.
각자 잘하는 곳에서 돌게 하는 것입니다.
5. 실제로 해봤습니다 — 7월 AX Tech Connect 그리고 NW 테스트베드
그림5. 7월 AX Tech Connect의 Edge VLM 시연 UI
저희의 목표 현장은 NW 테스트베드 입니다. 실제 장비가 운용되는 랙을 로봇이 순회하며 점검 기록을 남기는 것이 목표입니다.
| # |
유형 | 하는 일 |
|---|---|---|
| 1 | 자산 식별 | 위치·자산 스티커·바코드를 감지하고 해석 |
| 2 | 상태 판독 | 서버 LED·전원 상태 확인 |
| 3 | 위치 확인 | 장비가 랙의 몇 U에 장착돼 있는지 판정 |
| 4 | 대장 대조 | 판독 결과를 자산 대장과 비교해 차이 보고 |
💁 겪어 보니
Edge VLM 구축이라고 하면 모델을 서버에 올리는 일처럼 들리지만, 실제 시간은 대부분 '읽히게 만드는' 데 들어갔습니다.
- 첫째, 세상에 없는 객체들. 서버·스위치·보안장비, 그리고 KT에서만 쓰는 위치·자산 스티커는 일반 VLM이 사전학습에서 본 적 없는 대상입니다. 결국 저희가 직접 라벨링해 가르쳐야 했고, 이 라벨링이 생각보다 큰 공사였습니다.
- 둘째, 찾아도 못 읽는 문제. 스티커가 워낙 작아서 탐지에 성공해도 바코드·OCR 해석은 또 별개의 싸움이었습니다. 국사는 조명이 어둡고, 카메라 블러와 초점 거리 같은 변수 하나하나가 판독률을 흔들었습니다.
"큰 모델을 쓰면 알아서 되겠지"가 통하지 않는 지점들이, 현장에는 이렇게 촘촘히 숨어 있었습니다.
마치며
- 왜 통신사가 Physical AI를 직접 하나요? 현장(국사)도, 문제(점검)도, 인프라(Edge와 통신망)도 모두 저희 것이기 때문입니다. Physical AI를 검증하기에 이보다 자연스러운 조합은 드뭅니다.
- 왜 Edge VLM이 필요한가요? 행동과 기록은 다른 일이고, 다른 일에는 다른 모델이 필요하기 때문입니다. VLA는 로봇을 움직이고, Edge VLM은 점검 기록을 만듭니다. 중복이 아니라 분업입니다.
| 모델 개발에 힘써 주시는 P-AI 모델팀, 시뮬레이션 데이터를 모아 주시는 P-AI 시뮬레이션팀, 궂은 작업을 도맡아 주시는 P-AI 엔지니어링팀에 감사드립니다. |