OLAP & Data Warehouse

OLAP vs OLTP

구분	OLTP (트랜잭션 중심) (Online Transaction Processing)	OLAP (분석 중심) (Online Analytical Processing)
목적	실시간으로 발생하는 수많은 트랜잭션을 빠르고 정확하게 처리하는 것이 목표	의사결정을 돕기위해 복잡한 데이터를 분석하고 리포트를 생성하는 것이 목표
주요 작업	데이터 삽입, 수정, 삭제	데이터 조회, 집계
사용자	현업 직원, 고객 (매우 많음)	데이터 분석가, 경영진 (적음)
데이터 범위	최신 데이터, 상세한 개별 기록	과거 이력 데이터, 요약 및 집계 데이터
응답 속도	밀리초(ms) 단위 (매우 빠름)	수 초 ~ 수 분 (복잡도에 따라 다름)
데이터 구조	중복을 최소화한 정규화 구조	분석 성능을 높인 비정규화(스타 스키마 등) 구조
저장소	관계형 데이터베이스 (RDBMS)	데이터 웨어하우스 (DW)

 

 

(+) HTAP (Hybrid Transactional/Analytical Processing)

• 등장 배경 :
  기존 방식은 OLTP 서버에서 발생한 데이터를 밤새도록 분석용 DB(OLAP)로 옮기는 과정(ETL)이 필요했음. 그러다 보니 분석가는 늘 어제의 데이터를 보고 결정하는 한계가 있었음.
  
  현대 비즈니스(주식 거래, 부정 결제 탐지, 실시간 타겟 광고 등)에서는 지금 당장 일어나는 데이터를 즉시 분석해야 할 필요가 생김.

 

• 특징 :
  • 실시간성 : 데이터를 옮기는 과정이 없거나 매우 짧아, 현재 발생하는 트랜잭션을 실시간으로 분석에 반영
  • 단일 시스템 : 별도의 분석용 DB를 구축하고 관리하는 비용과 복잡성을 줄여줌
  • 신선도 : 장 최신의 데이터를 기반으로 인사이트를 도출

비교 항목	기존 방식 (ETL 중심)	HTAP 방식
데이터 동기화	주기적 배치 (Batch, 수 시간 소요)	실시간 (Immediate)
데이터 중복	원본과 분석용 데이터가 따로 존재	단일 소스 혹은 밀접한 복제본
주요 활용	주간/월간 리포트	실시간 사기 감지, 실시간 추천

 

 

 

Data Warehouse 란?

OLAP 솔루션으로 사용함. 리포팅 & 데이터 분석을 위한 용도의 데이터를 담아두는 공간임.

 

• 어떤걸 담아두나?
  표 형태의 구조화된 데이터
  스키마는 저장 시 정의 (Schema-on-Write)
  따라서 유연성은 낮음.

 

• 어디에 사용하나?
  "매출 분석", "재고 관리" 등 특정 비즈니스 질문에 답하기 위해 설계

 

• 누가 사용하나?
  비즈니스 분석가, 경영진

 

Data Lake & Data Mart와의 차이점은?

구분	데이터 레이크 (DL)	데이터 웨어하우스 (DW)	데이터 마트 (DM)
비유	거대한 원재료 창고	대형 가공식품 물류센터	동네 반찬가게 / 특정 코너
데이터 상태	원시 데이터 (Raw) 일단 모든 소스(앱로그,DB등)에서 있는 그대로 데이터를 퍼담음.	정제/가공된 데이터 분석에 사용할 수 있게 깨끗이 정제하고 규격에 맞춘 데이터를 저장	요약/집계된 데이터 특정 부서의 목적에 맞게 DW일부를 떼어내 최적화한 데이터를 저장
데이터 형태	구조화 + 비구조화 (이미지 등)	구조화 (표 형태)	구조화 (특정 목적용)
데이터 규모	매우 큼 (전사 데이터 전체)	큼 (전사 통합 데이터)	작음 (특정 부서용)
사용자	데이터 사이언티스트	데이터 분석가, IT 부서	마케팅팀, 영업팀 등 현업