데이터독을 떠나 월 1,500달러를 아끼기까지: Grafana 기반 자체 모니터링 스택 구축기

SaaS 모니터링 도구인 Datadog을 떠나 LGTM(Loki, Grafana, Tempo, Mimir/Prometheus) 스택 기반의 자체 모니터링 환경을 구축하며 겪은 데이터엔지니어링팀의 시행착오와 비용 절감 기록입니다.

“작은 불편에서 출발해, 모두가 편해지는 순간까지. 올라핀테크 팀의 이야기를 공유합니다.”

시작하며: 우리에게 진짜 필요한 정보는 무엇일까?

많은 팀이 그렇듯, 저희 역시 서비스 초기부터 인프라와 애플리케이션 운영을 위해 Datadog(데이터독)을 사용해 왔습니다.
설치가 간단하고 대시보드와 알림 시스템이 훌륭하게 갖춰진 강력한 SaaS 도구였기에, 빠르게 모니터링 환경을 구축하는 데 큰 도움이 되었거든요.

데이터독(Datadog)의 비용 부담을 덜어내고, 오픈소스 기반의 LGTM 스택(Loki, Grafana, Tempo, Mimir) 블록을 조립하여 효율적이고 안정적인 자체 모니터링 시스템을 구축하는 과정을 표현한 3D 일러스트입니다.

데이터독_대체_LGTM_자체_모니터링_스택_구축_올라핀테크

하지만 서비스 규모가 커지면서 조금씩 고민이 고개를 들기 시작했습니다.
수집되는 로그의 양, 모니터링해야 하는 메트릭, 그리고 관리해야 하는 인프라 리소스가 늘어남에 따라 Datadog의 사용량 기반 청구서도 빠르게 무거워졌기 때문인데요.
어느 순간 월 약 1,500달러 수준의 비용이 발생하고 있더라고요.

물론 Datadog의 편의성을 생각하면 합리적인 비용일 수 있습니다.
하지만 내부적으로 근본적인 질문이 맴돌았습니다.

“우리는 정말 이 막대한 비용을 낼 만큼 Datadog의 수많은 기능을 온전히 활용하고 있을까?”

이 작은 의문이, 저희 팀이 모니터링 환경을 제로베이스에서 다시 고민하고 Datadog의 대안을 찾게 된 출발점이 되었습니다.

대안의 탐색: LGTM 스택의 발견

Datadog을 완전히 대체할 수 있는 방법을 찾기 위해 여러 옵션을 검토했습니다.
최근 관측 가능성(Observability) 분야에서는 오픈소스 기반의 모니터링 스택이 대세로 자리 잡고 있었고,
그중에서도 가장 널리 쓰이는 조합이 바로 Grafana 기반 스택이었습니다.

Grafana Labs에서는 모니터링의 핵심 요소들을 모아 이른바 ’LGTM 스택’을 제안하고 있는데요.

Loki: 로그 수집 및 조회
Grafana: 대시보드 및 시각화
Tempo: 분산 트레이싱
Mimir (또는 Prometheus): 메트릭 수집 및 저장

이 스택을 활용하면 로그, 메트릭, 트레이스를 하나의 환경에서 매끄럽게 관리할 수 있어요.
비록 Datadog처럼 클릭 몇 번으로 모든 것이 뚝딱 연동되는 완성형 SaaS는 아니지만,
우리 팀에 꼭 필요한 기능만 선택해 유연하게 구성할 수 있다는 점이 매력적으로 다가왔습니다.

우리가 선택한 모니터링 아키텍처

여러 조합을 치열하게 테스트한 끝에, 저희는 다음과 같은 흐름으로 자체 모니터링 파이프라인을 구축했습니다.

메트릭 수집: 애플리케이션에서 발생하는 메트릭은 OpenTelemetry를 통해 수집하여 Prometheus에 저장합니다.
로그 수집: 로그 데이터는 Loki를 활용해 수집합니다.
시각화: 수집된 모든 메트릭과 로그는 Grafana 대시보드를 통해 한눈에 파악할 수 있도록 구성했습니다.
알림 파이프라인: 특정 임계치를 넘거나 이상 조건이 만족될 경우, Alertmanager를 거쳐 Slack과 PagerDuty로 즉각적인 알림이 전송되도록 설정했습니다.

이 구조를 통해 과거 Datadog에서 유용하게 사용하던 대부분의 모니터링 기능을 오픈소스 생태계 안에서 충분히 구현해 낼 수 있었습니다.

애플리케이션에서 발생한 메트릭과 로그 데이터가 프로메테우스(Prometheus)와 로키(Loki)를 거쳐 그라파나(Grafana) 대시보드로 시각화되고, 이상 징후 발생 시 슬랙(Slack)으로 알림이 전송되는 모니터링 아키텍처 흐름도입니다.

모니터링_지표_기반_서버_리소스_최적화_비용_절감_올라핀테크

시행착오: “직접 한다는 것”의 무게

물론 과정이 순탄치만은 않았습니다.
SaaS인 Datadog은 돈을 내면 대부분의 기능이 ‘이미 준비된 상태’로 제공되지만,
오픈소스 스택은 바닥부터 직접 다져야 했기 때문입니다.

Prometheus 설정 및 타겟 메트릭 수집 파이프라인 구성
Loki를 활용한 대용량 로그 수집 및 라우팅 구축
팀의 입맛에 맞는 Grafana 대시보드 UI/UX 설계
Alertmanager의 노이즈를 줄이는 정교한 알림 정책 설정

처음에는 Datadog처럼 ‘설치 즉시 완벽하게 동작하는’ 마법을 기대하기도 했어요.
하지만 하나하나 직접 설정하며 부딪히는 과정은 오히려 큰 성장이 되었습니다.
블랙박스 같았던 모니터링 시스템이 내부에서 어떻게 동작하는지 훨씬 깊이 이해하게 되었고,
무엇보다 팀의 운영 환경에 딱 맞는 유연한 정책을 설계할 수 있는 통제권을 얻을 수 있었죠.

지표가 보이면 낭비가 보입니다

모니터링 시스템이 안정적으로 자리를 잡자,
그동안 SaaS의 복잡한 메뉴 속에 숨어 보이지 않던 ‘시스템의 민낯’이 명확한 데이터로 드러나기 시작했어요.

어떤 서비스는 실제 트래픽에 비해 리소스가 너무 과하게 할당되어 노드 공간을 낭비하고 있었고,
또 어떤 서비스는 메모리 한계치에 아슬아슬하게 걸쳐 있어 툭하면 OOM(Out Of Memory) 장애를 뿜어내고 있었습니다.
예전에는 막연히 “어딘가 불안정하다”고 느꼈다면,
이제는 정확한 지표를 근거로 행동할 수 있게 된 것입니다.

OOM 대응: 실시간 에러 알림을 통해 OOM이 잦은 파드를 식별하고, 메모리 Limit을 여유 있게 상향해 서비스 안정성을 즉각 확보했습니다.
리소스 다이어트: 반대로 실제 사용량 대비 지나치게 넉넉했던 리소스는 과감하게 덜어냈습니다.

그라파나 대시보드의 명확한 지표를 바탕으로 불필요한 서버 리소스를 다이어트하고, 메모리 한계치(OOM)를 안정적으로 관리하여 월 1,500달러의 인프라 비용을 절감한 성과를 상징하는 3D 일러스트입니다.

오픈소스_기반_모니터링_데이터_파이프라인_아키텍처_올라핀테크

이러한 조정 작업을 꾸준히 반복한 결과,
전체적인 클러스터 노드 스펙을 한 단계 낮출 수 있는 여유를 확보했고,
결과적으로 월 1,500달러가 넘는 인프라 및 모니터링 비용을 절감할 수 있었습니다.
최근에는 Prometheus의 고질적인 약점인 데이터 장기 보존 문제를 해결하기 위해 Thanos까지 연동을 마쳐,
과거의 지표도 안정적으로 추적할 수 있는 튼튼한 환경을 완성했어요.

마무리하며

여전히 Datadog은 훌륭하고 강력한 서비스입니다.
초기 스타트업이나 인프라 전담 인력이 부족한 팀에게는 최고의 선택지일 수 있습니다.

하지만 서비스 규모가 커지고 데이터가 폭발적으로 늘어나는 시점에서는,
오픈소스 기반의 모니터링 스택이 훌륭한 대안이 될 수 있습니다.
저희에게 LGTM 스택은 단순한 비용 절감을 넘어,
우리의 Observability 환경을 스스로 통제하고 튜닝할 수 있는 기술적 자신감을 안겨주었어요.

지금 모니터링 비용 명세서를 보며 깊은 고민에 빠져 계신다면,
Grafana와 친구들이 만들어가는 자체 모니터링 스택도 꼭 한번 고려해 보시길 추천해 드립니다.

“올라핀테크 데이터엔지니어링팀은 앞으로도 막연한 시스템 낭비를 지표로 증명하고, 우리 서비스에 가장 최적화된 파이프라인을 직접 구축하여 한층 더 단단하고 효율적인 기술 기반을 만들어나갈 예정입니다.”

write. 데이터엔지니어링팀 임종원