Tech Dive

System Tables로 만드는 운영 Observability Dashboard


수많은 Databricks Job, 어떻게 한눈에 운영할까?

운영의 핵심은 데이터를 많이 모으는 것이 아니라, 운영자가 확인해야 할 신호를 빠르게 발견하도록 만드는 것입니다.

Databricks를 운영하면서 운영 가시성 확보를 위한 OPRT Dashboard 구축기를 정리했습니다.


목차

1. 들어가며
2. 기존 운영 방식의 한계
3. OPRT Dashboard를 만든 이유
4. 대시보드 설계 원칙
5. 데이터 구성: 사용량을 Job 단위로 재구성하기
6. JOBs Summary: 전체 수준을 먼저 본다
7. Top Job 분석: 확인할 대상을 좁힌다
8. Outlier Detection: 많이 쓰는 Job이 아니라 달라진 Job을 찾는다
9. 대시보드는 어떻게 볼까?
10. 일일 리포트: 대시보드를 열기 전에 알림을 받는다
11. 구축하면서 고려한 점
12. 마치며



1. 들어가며

Databricks 플랫폼 도입 후 어느덧 성숙기를 거쳐 고도화 및 지능화 단계에 이르러 다양한 Workspace와 수많은 Job이 생성되었습니다.

그런데 하루 수천 건씩 실행되는 Job을 운영하면서 운영자는 다음과 같은 질문에 바로 답하기 어려워집니다.

  • 어제 전체 Job 사용량은 어느 정도였는가?

  • 이번 달 사용량은 지난달과 비교해 어떻게 변하고 있는가?

  • 어떤 Workspace가 사용량의 대부분을 차지하는가?

  • 어떤 Job이 리소스를 가장 많이 쓰는가?

  • 평소보다 사용량이 갑자기 늘어난 Job은 무엇인가?

  • 그 증가는 일시적인가, 아니면 계속되는 현상인가?

이런 질문을 한 화면에서 확인할 수 있도록 만든 운영 Observability 대시보드(이하 OPRT Dashboard) 구축 사례입니다. 화면 기능을 나열하기보다, 어떤 문제를 어떤 데이터와 지표로 풀었고, 왜 그렇게 설계했는지를 중심으로 정리했습니다. Databricks를 운영하는 누구나 System Tables만으로 비슷한 대시보드를 만들 수 있도록 쿼리 예시도 함께 담았습니다.



2. 기존 운영 방식의 한계

2.1 Workspace와 Job을 하나씩 열어 봐야 했다

Databricks의 기본 화면은 Workspace 단위로 나뉘어 있습니다. 여러 Workspace를 운영하면 "플랫폼 전체에서 어제 무슨 일이 있었는지"를 보려고 Workspace마다 들어가 Job 목록을 확인해야 합니다. Job이 수백 개를 넘으면 사람이 눈으로 확인하는 방식은 현실적으로 불가능합니다.


2.2 총사용량만으로는 원인을 찾을 수 없었다

월별 총사용량 그래프는 "늘었다"는 사실은 알려 주지만 "무엇 때문에"는 알려 주지 않습니다. 총량이 10% 늘었을 때 가능한 원인은 여러 가지입니다.

  • 특정 Job 하나가 급증했다.

  • 여러 Job이 조금씩 늘었다.

  • 새 Job이 추가됐다.

  • 한 Workspace의 워크로드 전체가 커졌다.

원인에 따라 대응이 완전히 다릅니다. 총량만 보고 있으면 원인을 찾는 데 다시 많은 시간을 써야 합니다.


2.3 "많이 쓰는 Job"과 "갑자기 늘어난 Job"은 다르다

사용량 상위 Job 목록은 대부분 매일 비슷합니다. 원래 사용량이 큰 Job들이기 때문입니다. 운영자가 놓치지 않아야 하는 것은 평소보다 갑자기 사용량이 늘어난 Job인데, 이런 Job이 항상 상위 목록에 나타나지는 않습니다.



3. OPRT Dashboard를 만든 이유

목표는 단순한 사용량 대시보드가 아니라 운영 흐름을 따라가는 도구였습니다.

Usage Comparison Outlier Detection Investigation (얼마나 사용했나) ──▶ (이전과 비교하면?) ──▶ (평소와 다른 것은?) ──▶ (무엇을 확인할까?)

운영자가 매일 아침 몇 분 안에 "오늘 확인해야 할 Job"을 정할 수 있게 하는 것, 그리고 이를 위해 별도 수집 에이전트 없이 Databricks가 제공하는 System Tables만으로 구성하는 것이 출발점이었습니다.


System Tables 간단 소개

System Tables는 Databricks가 계정 수준의 운영 데이터를 Unity Catalog의 system 카탈로그에 테이블로 제공하는 기능입니다. 이 대시보드에서 주로 쓴 테이블은 다음과 같습니다.

테이블

담고 있는 정보

대시보드에서 쓰임

system.billing.usage

SKU별 사용량(DBU) 레코드. Job ID, 실행 계정 등 메타데이터 포함

모든 사용량 지표의 원천

system.billing.list_prices

SKU별 정가 이력

사용량을 추정 금액으로 환산

system.lakeflow.jobs

Job 이름, 생성자, 실행 계정, 삭제 여부

Job ID를 사람이 읽을 수 있는 이름으로 연결

system.lakeflow.job_run_timeline

Job 실행 시작·종료 시각

최근 실행 시각, 실행 여부 확인

system.access.workspaces_latest

Workspace ID와 이름

Workspace 단위 집계와 표시

system.access.table_lineage

어떤 작업이 어떤 테이블을 읽고 썼는지

원인 분석 단계의 영향 범위 확인

System Tables는 계정 관리자가 스키마별로 활성화해야 하며, 조회 권한도 별도로 부여해야 합니다. 데이터는 실시간이 아니라 일정 지연을 두고 반영됩니다.



4. 대시보드 설계 원칙

화면을 설계할 때 "운영자가 전체에서 세부로 범위를 좁혀 가는" 순서를 기준으로 삼았습니다.

관점

답하려는 질문

설계 기준

Summary

플랫폼 전체가 정상 범위인가?

주요 숫자 몇 개로 전일·당월 수준을 바로 판단

Workspace

어디에 사용량이 몰려 있는가?

비중 중심으로 표현해 집중도를 확인

Job

어떤 Job이 많이 쓰는가?

Top-N과 나머지(Other)를 함께 보여 줘 Top-N의 의미를 해석 가능하게

Trend

지난 기간과 비교해 어떻게 변하는가?

모든 목록에 비교 기간 값과 증감·증감률을 표시

Outlier

평소와 다른 Job은 무엇인가?

비중과 증가율 조건을 함께 만족하는 Job만 골라 확인 대상을 줄임

또 하나의 원칙은 Daily와 MTD를 항상 함께 보여 주는 것입니다. Daily는 전일에 생긴 변화를 빠르게 확인하고, MTD(Month-To-Date)는 하루 단위 변동의 영향을 덜 받는 추세를 보여 줍니다. 둘을 함께 봐야 "일시적인 이상치"와 "지속되는 증가"를 구분할 수 있습니다.

개괄적인 대시보드의 논리 아키텍처입니다.

TypeScript
+---------------------------+
| Databricks System Catalog |
| - system.billing.usage    |
| - system.billing.list_prices |
| - system.lakeflow.jobs    |
+-------------+-------------+
              |
              | SQL aggregation
              v
+---------------------------+
| Usage Mart                 |
| - daily job cost           |
| - MTD job cost             |
| - workspace / job ranking  |
+-------------+-------------+
              |
              | dashboard query
              v
+---------------------------+
| Cost Operations Dashboard  |
| - Daily Top N              |
| - MTD Top N                |
| - cost trend and ratio     |
+---------------------------+
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24



5. 데이터 구성: 사용량을 Job 단위로 재구성하기

System Tables의 사용량 레코드는 시간 구간·SKU 단위로 나뉘어 있습니다. 대시보드에서 바로 쓰기 좋도록 매일 한 번 "날짜 × Workspace × Job" 단위의 일 사용량 테이블로 재구성했습니다.

C++
-- 일 단위 Job 사용량
SELECT u.workspace_id,
       u.usage_metadata.job_id                                              AS job_id,
       date_format(from_utc_timestamp(u.usage_start_time, '<운영 시간대>'), 'yyyy-MM-dd') AS usage_date,
       sum(CASE WHEN u.usage_unit = 'DBU' THEN u.usage_quantity ELSE 0 END)  AS dbu,
       sum(u.usage_quantity * p.pricing.default)                            AS est_usd
  FROM system.billing.usage u
  JOIN system.billing.list_prices p
    ON u.account_id = p.account_id
   AND u.sku_name   = p.sku_name
   AND u.cloud      = p.cloud
   AND u.usage_start_time >= p.price_start_time
   AND u.usage_end_time   <= coalesce(p.price_end_time, current_timestamp())
 WHERE u.usage_metadata.job_id IS NOT NULL
   -- 운영 기준 시간대로 '어제'까지만 확정 데이터로 사용
   AND u.usage_start_time < to_utc_timestamp(date_trunc('DAY', from_utc_timestamp(current_timestamp(), '<운영 시간대>')), '<운영 시간대>')
 GROUP BY 1, 2, 3;
1234567891011121314151617

이 테이블에 Job 이름(system.lakeflow.jobs), Workspace 이름, 마지막 실행 시각을 붙여 두면, 이후의 모든 지표는 이 테이블 하나에서 계산됩니다. 원천 테이블을 매번 직접 조회하지 않기 때문에 대시보드 조회 속도가 빨라지고, 지표 정의도 한 곳에서 관리됩니다.

재적재는 기준일 데이터를 지우고 다시 넣는 방식(delete-insert)으로 했습니다. 같은 날짜를 여러 번 다시 실행해도 결과가 같아서 장애 후 복구가 단순해집니다.



6. JOBs Summary: 전체 수준을 먼저 본다

첫 화면은 "지금 플랫폼이 평소 수준인가"에 답하는 데 집중했습니다.

  • Daily Job Usage: 전일 전체 Job 사용량 (DBU, 추정 금액)

  • MTD Job Usage: 당월 1일부터 전일까지 누적 사용량

  • 전체 Job 건수: 전일 실행된 Job 수

  • Workspace별 사용량: Daily / MTD 각각의 Workspace 비중

Workspace별 사용량은 절대량보다 비중으로 보여 주는 편이 운영 판단에 유용합니다. 예를 들어 다음과 같은 화면을 생각해 볼 수 있습니다 (가상 예시).

Workspace

Daily 비중

MTD 비중

production-workspace

48%

55%

analytics-workspace

37%

28%

ml-workspace

15%

17%

MTD에서는 production 비중이 가장 크지만, 어제 하루만 보면 analytics의 비중이 평소보다 높습니다. 운영자는 이 차이를 근거로 "어제 analytics-workspace에서 평소와 다른 일이 있었다"는 가설을 세우고 다음 화면에서 상세 내용을 확인할 수 있습니다.



7. Top Job 분석: 확인할 대상을 좁힌다

7.1 Top-N 목록만 볼 때의 한계

"Top 20 Job 목록"은 가장 직관적인 화면이지만, 목록만으로는 그 20개가 얼마나 중요한지 알 수 없습니다. Top 20 Job이 전체의 80%를 차지하는 환경과 20%를 차지하는 환경은 운영 전략이 완전히 다릅니다.

  • Top 20 비중이 높다: 소수 Job 최적화만으로 큰 효과를 볼 수 있습니다.

  • Top 20 비중이 낮다: 사용량이 작은 다수 Job 전반의 설정(클러스터 크기, 자동 종료, 스케줄 중복)을 점검해야 합니다.

그래서 Top 20 목록과 함께 Top 20 vs Other 비중을 같이 보여 주고, 분포를 보는 박스 플롯을 추가했습니다. 사용량이 일부 Job에 몰려 있는지, 여러 Job에 고르게 나뉘어 있는지 확인할 수 있습니다.

TypeScript
-- Top 20 vs Other (Daily)
SELECT CASE WHEN rn <= 20 THEN 'Top 20' ELSE 'Other' END AS rank_group,
       count(*)      AS job_count,
       sum(est_usd)  AS est_usd
  FROM (SELECT job_id, sum(est_usd) AS est_usd,
               row_number() OVER (ORDER BY sum(est_usd) DESC) AS rn
          FROM {daily_job_usage_table}
         WHERE usage_date = date_sub(current_date(), 1)
         GROUP BY job_id)
 GROUP BY 1;
1
2
3
4
5
6
7
8
9
10


7.2 목록에 반드시 붙인 컬럼

Top 목록의 각 행에는 사용량 외에 다음 값을 함께 표시했습니다.

  • 비중: 전체 대비 이 Job의 몫

  • 누적 비중: 1위부터 이 Job까지 합친 몫. "상위 몇 개까지 보면 전체의 절반인가"에 답합니다.

  • 비교 값과 증감률: Daily는 직전 실행일, MTD는 전월 같은 기간

Workspace별 Top 5 Jobs도 별도로 두었습니다. 전체 Top 20 Jobs는 큰 Workspace의 Job으로만 채워지기 쉬워서, 작은 Workspace의 주요 Job은 따로 보지 않으면 놓치게 됩니다.



8. Outlier Detection: 많이 쓰는 Job이 아니라 달라진 Job을 찾는다

8.1 왜 비교가 필요한가

Top-N은 "크기"를 보고, Outlier는 "변화"를 봅니다. 운영 이슈는 대부분 변화에서 시작합니다. 잘못된 파라미터로 전체 데이터를 다시 처리했거나, 클러스터 설정이 바뀌었거나, 입력 데이터가 갑자기 늘었거나, 재시도가 반복되는 경우입니다.


8.2 무엇과 비교할 것인가

관점

비교 대상

이유

Daily

그 Job의 직전 실행일 사용량

매일 실행되는 Job, 주 1회 실행되는 Job이 섞여 있으므로 "어제 vs 그제"가 아니라 그 Job 자신의 직전 실행과 비교해야 정확합니다.

MTD

전월 같은 기간(1일~같은 날짜) 누적

월초와 월말을 그대로 비교하면 누적 일수가 달라 비교 결과가 왜곡됩니다. 같은 일수 구간끼리 비교합니다.


8.3 증가율만 보면 의미 없는 항목이 많아진다

증가율만 기준으로 삼으면 사용량이 아주 작은 Job이 목록을 채웁니다. 1 DBU 쓰던 Job이 3 DBU를 쓰면 증가율은 200%지만 운영상 의미는 거의 없습니다. 그래서 두 개의 조건을 사용했습니다.

  1. 비중 조건: 전체 사용량 대비 일정 비율 이상인 Job (의미 있는 크기)

  2. 증가율 조건: 비교 대상 대비 일정 비율 이상 증가한 Job (의미 있는 변화)

TypeScript
-- Daily Outlier: 의미 있는 크기 AND 의미 있는 변화
WITH today AS (
  SELECT workspace_id, job_id, usage_date, sum(est_usd) AS est_usd,
         sum(sum(est_usd)) OVER () AS total_usd
    FROM {daily_job_usage_table}
   WHERE usage_date = date_sub(current_date(), 1)
   GROUP BY 1, 2, 3
),
prev AS (   -- 각 Job의 직전 실행일 사용량
  SELECT d.job_id, d.usage_date, sum(d.est_usd) AS est_usd
    FROM {daily_job_usage_table} d
    JOIN today t ON d.job_id = t.job_id AND d.usage_date < t.usage_date
   GROUP BY 1, 2
  QUALIFY row_number() OVER (PARTITION BY d.job_id ORDER BY d.usage_date DESC) = 1
)
SELECT t.job_id,
       t.est_usd,
       t.est_usd / t.total_usd                      AS share,
       p.est_usd                                    AS prev_usd,
       t.est_usd / nullif(p.est_usd, 0) - 1         AS growth
  FROM today t
  LEFT JOIN prev p ON t.job_id = p.job_id
 WHERE t.est_usd / t.total_usd   >= :min_share      -- 비중 기준
   AND t.est_usd / nullif(p.est_usd, 0) - 1 >= :min_growth   -- 증가율 기준
 ORDER BY growth DESC;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

두 기준값에 정해진 정답은 없습니다. 처음에는 기준을 낮게 잡고, 매일 목록이 "확인할 만한 몇 건"으로 유지되도록 조정하는 것을 권합니다. 목록이 너무 길면 확인하기 어렵고, 너무 짧으면 확인이 필요한 Job을 놓칠 수 있습니다.


8.4 Daily와 MTD를 함께 볼 때의 해석

Daily Outlier

MTD Outlier

해석

O

X

전일에만 사용량이 증가한 일시적 현상일 가능성. 재처리·재시도 여부 확인

O

O

증가가 계속되고 있음. 우선 확인 대상

X

O

사용량이 점차 늘어나는 Job. 데이터량 증가나 설정 변경 추세 점검



9. 대시보드는 어떻게 볼까?

9.1 운영자가 대시보드를 보는 흐름

TypeScript
전체 사용량 확인      (Summary: 어제·이번 달 수준이 평소 범위인가?)
      ↓
Workspace 확인       (어느 Workspace의 비중이 평소와 다른가?)
      ↓
Top Job 확인         (그 Workspace에서 큰 Job은? Top 20 비중은?)
      ↓
Outlier 확인         (크기와 변화가 모두 의미 있는 Job은?)
      ↓
원인 분석 대상 Job 선정 
      ↓
Job별 일 추이, 실행 계정, 후속 영향 확인
1
2
3
4
5
6
7
8
9
10
11

예를 들어,

  1. Summary에서 전일 사용량이 평소보다 높다.

  2. Workspace 비중을 보니 analytics-workspace가 평소보다 크다.

  3. Daily Outlier에 daily_aggregation_job이 직전 실행 대비 크게 증가한 Job으로 나타나 있다. MTD Outlier에는 없다.

  4. Job별 일 추이를 보면 전일에만 사용량이 크게 증가했다. 실행 이력을 보니 전체 기간 재처리가 실행됐다.

  5. 결론: 의도된 재처리인지 담당자에게 확인하고, 반복된다면 증분 처리로 바꾸도록 협의한다.

원인 분석 단계에는 Job별 일·월 추이, 실행 계정(Run As)별 사용량, 그리고 system.access.table_lineage와 Job 간 의존 관계를 이용한 후속(Downstream) Job·테이블 확인 화면을 두었습니다. "이 Job을 멈추면 무엇이 영향을 받는가"를 바로 확인할 수 있어야 조치 결정이 빨라집니다.


9.2 대시보드 구성

페이지

목적

주요 구성

JOBs Summary

전일·당월 전체 사용량과 상위 Job 확인

Workspace별 사용량, Daily·MTD Top N, Top N vs. Other 비중, 분포(Box Plot)

JOBs Outlier

평소보다 사용량이 크게 늘어난 Job 확인

비중과 증가율 조건을 함께 만족하는 Job 목록 (Daily·MTD)

JOBs Usage

Job별 사용량 상세 분석

기간·Workspace·Job 필터, 일·월 추이, 추정 비용과 실제 클라우드 비용 비교

RunAs Usage

실행 계정별 사용량 확인

계정별 사용량, 실행 Job 목록, 활동 이벤트 수

JOBs Navi.

조치 전 영향 범위 확인

선택한 Job의 후속 Job과 관련 테이블



10. 일일 리포트: 대시보드를 열기 전에 알림을 받는다

10.1 왜 메일 리포트를 추가했나

대시보드는 운영자가 직접 열어야 정보를 얻을 수 있습니다. 그래서 매일 아침 요약 지표와 이상치 목록을 메일로 먼저 받아 보도록 했습니다. 메일에서 확인할 Job을 정하고, 자세한 내용은 메일 안의 대시보드 링크로 이동해 확인합니다.


10.2 발송 아키텍처

TypeScript
┌──────────────── Databricks ────────────────────────────────┐
│  매일 정해진 시각에 실행되는 Job (메일 리포트 노트북)            
│    ① 대시보드 정의 읽기 (Dashboard API)                       
│    ② 대시보드와 같은 쿼리로 데이터 조회                         
│    ③ HTML 메일 본문 생성                                     
└──────────────────────────┬────────────────────────────┘
                           │ ④ HTTPS 요청
                           ▼
┌──────────────── 알림 서비스 ─────────────────────────────┐
│  알림 접수 API (HTTP 트리거 워크플로) ── 요청 접수 응답(202)    
│            │ ⑤ 메시지 적재                                   
│            ▼                                                
│  메시지 큐                                                   
│            │ ⑥ 메시지 수신                                  
│            ▼                                                
│  발송 처리 워크플로 ── 채널 분기 (email / 기타 채널)            
│            │ ⑦ 수신자별 메일 발송                             
└────────────┼──────────────────────────────────────────┘
             ▼
        담당자 메일함
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

구성 요소

역할

메일 리포트 Job

대시보드 정의를 읽어 같은 쿼리로 데이터를 조회하고, HTML 본문을 만들어 알림 서비스에 요청

알림 접수 API

HTTP 요청을 받아 메시지 큐에 넣고 바로 접수 응답을 반환

메시지 큐

요청과 발송 처리를 분리하는 버퍼. 발송이 지연되거나 일시적으로 실패해도 요청 측에 영향을 주지 않음

발송 처리 워크플로

메시지의 채널 구분 값으로 분기해 메일을 발송. 다른 채널(메신저 등)도 같은 구조로 확장 가능


10.3 처리 순서

  1. 대시보드 읽기: Databricks SDK로 대시보드를 읽어옵니다.

  2. 데이터 조회: 메일에 필요한 데이터셋을 조회합니다.

  3. 본문 생성: 메일 클라이언트는 차트를 그릴 수 없으므로 차트 내용(Workspace별 비중, Top N vs. Other)을 집계 표로 바꿉니다.

  4. 발송 요청: 정해진 메시지 형식으로 알림 접수 API를 호출합니다.

  5. 발송: 알림 서비스가 큐를 거쳐 수신자별로 메일을 보냅니다.


10.4 메시지 형식

JSON
{
  "sendtype": "email",
  "senddata": {
    "to": ["ops-team@example.com"],
    "subject": "Job 사용량 일일 리포트 (YYYY-MM-DD)",
    "body": "<div>HTML 본문</div>"
  }
}
1
2
3
4
5
6
7
8

sendtype으로 구분하고, senddata에 내용을 담습니다. 


10.5 메일 구성

메일 영역

내용

요약 지표

기준일, 전일·당월 누적 사용량, 전일 실행 Job 수

JOBs Summary

Workspace별 사용량(Daily/MTD), Top N vs. Other 비중

JOBs Outlier

Daily·MTD 이상치 Job 목록과 판단 기준 설명

바로가기

대시보드 링크 (상세 목록과 추이는 대시보드에서 확인)

메일에는 판단에 필요한 내용만 넣고, Top N 상세 목록처럼 분량이 큰 내용은 대시보드 링크로 대신했습니다.



11. 구축하면서 고려한 점

11.1 데이터 기준 시점

  • System Tables의 시각은 UTC입니다. 운영 기준 시간대로 바꾸지 않으면 "어제"가 운영자가 생각하는 어제와 어긋납니다. 적재 단계에서 운영 시간대 기준 날짜로 바꿔 저장했습니다.

  • 사용량 데이터는 반영 지연이 있습니다. 오늘 데이터는 쓰지 않고 전일까지 확정된 데이터(D-1)만 사용합니다.

  • 조회 쿼리에서 current_date()를 쓰면 세션 시간대에 따라 결과가 달라질 수 있습니다. 스케줄 실행 시각과 세션 시간대를 함께 맞춰야 합니다.


11.2 비교 기간

  • Daily는 달력상 전일이 아니라 그 Job의 직전 실행일과 비교합니다.

  • MTD는 전월 같은 일수 구간과 비교합니다. 월 일수 차이(28~31일)는 월말 비교에서 오차가 생길 수 있어 해석할 때 감안합니다.


11.3 Job 단위 집계

  • Job 이름은 바뀔 수 있으므로 집계 키는 항상 Job ID로 하고, 이름은 표시용으로만 붙입니다.

  • 삭제된 Job도 과거 사용량은 남아 있습니다. 삭제 시각을 함께 보여 줘야 "삭제된 Job의 사용량"을 잘못 해석하지 않습니다.

  • Job 외 사용량(대화형 노트북, SQL 웨어하우스, 서빙 등)은 Job ID가 없습니다. 이 부분은 실행 계정 단위 집계로 따로 봅니다.


11.4 사용량 추정치와 실제 Cloud Cost의 차이

이 대시보드의 금액은 DBU 추정치입니다. 실제 청구 금액과는 다음 이유로 차이가 납니다.

  • 계약 할인이나 약정 사용량이 반영되지 않습니다.

  • 클라우드 VM, 스토리지, 네트워크 비용은 DBU에 포함되지 않습니다.

  • 통화 환산은 고정 환율을 쓰는 경우가 많습니다.

그래서 화면마다 "추정치"임을 명시하고, 절대 금액보다 비중과 증감률로 판단하도록 설계했습니다. 실제 비용이 필요하면 클라우드 비용 관리 API에서 Job ID 태그 기준 비용을 따로 가져와 같은 화면에서 비교할 수 있습니다. 추정치와 실제 비용의 증감 방향이 같은지 확인하는 용도로는 충분합니다.


11.5 지표 정의는 한 곳에서

비중, 누적 비중 같은 계산은 대시보드 데이터셋의 계산 컬럼으로 정의해 위젯마다 반복하지 않았습니다. 10장의 메일 리포트처럼 같은 지표를 다른 채널로 내보낼 때도 대시보드 정의를 그대로 읽어 쓰면, 화면과 메일의 기준이 어긋나지 않습니다.



12. 마치며

System Tables를 활용하면 쿼리 몇 개로 사용량 그래프를 쉽게 만들 수 있습니다. 어려운 것은 운영자가 매일 대시보드를 확인하고, 몇 분 안에 다음 조치를 정할 수 있게 만드는 것입니다.

이번 작업에서 효과가 컸던 결정을 정리하면 다음과 같습니다.

  • 총량보다 비중을 보여 준다.

  • 모든 숫자 옆에 비교 값과 증감률을 둔다.

  • Top-N 옆에 Other를 둬서 Top-N의 의미를 해석할 수 있게 한다.

  • "많이 쓰는 Job"과 "달라진 Job"을 분리하고, 크기와 변화 두 조건으로 확인 대상을 줄인다.

  • 화면 순서를 운영 판단 순서(Summary → Workspace → Job → Outlier → Investigation)에 맞춘다.

  • 대시보드를 열지 않아도 요약과 이상치를 메일로 먼저 받도록 한다.

운영 데이터는 이미 플랫폼 안에 있습니다. 그 데이터를 운영자가 바로 조치할 수 있는 Actionable Signal로 바꾸는 것이 운영 Observability의 핵심입니다. Databricks를 운영하고 있다면 system.billing.usage로 일 단위 Job 사용량 테이블부터 만들어 보기를 권합니다. 이 테이블에 비교 기간과 이상치 조건을 더하면 같은 방식으로 확장할 수 있습니다.


# 대시보드 이미지

image_blurred.png







김민제

KT 빅데이터 분석 플랫폼 운영 업무를 담당하고 있으며, Azure 환경의 Databricks/Fabric WF/Mart 운영 업무를 수행하고 있습니다.

System Tables로 만드는 운영 Observability Dashboard - kode