결국 빛나리라

OLAP & Data Warehouse

OLAP vs OLTP구분OLTP (트랜잭션 중심)(Online Transaction Processing)OLAP (분석 중심)(Online Analytical Processing)목적실시간으로 발생하는 수많은 트랜잭션을 빠르고 정확하게 처리하는 것이 목표의사결정을 돕기위해 복잡한 데이터를 분석하고 리포트를 생성하는 것이 목표주요 작업데이터 삽입, 수정, 삭제데이터 조회, 집계사용자현업 직원, 고객 (매우 많음)데이터 분석가, 경영진 (적음)데이터 범위최신 데이터, 상세한 개별 기록과거 이력 데이터, 요약 및 집계 데이터응답 속도밀리초(ms) 단위 (매우 빠름)수 초 ~ 수 분 (복잡도에 따라 다름)데이터 구조중복을 최소화한 정규화 구조분석 성능을 높인 비정규화(스타 스키마 등) 구조저장소관계형 데이터베..

BigQuery With Partitioning & Clustering

BigQuery란?서버리스(Serverless) 대규모 데이터 웨어하우스. "서버리스"라는 말은 사용자가 서버를 사고 관리할 필요 없이, 그냥 데이터를 넣고 SQL로 질문만 던지면 된다는 뜻 BQ 핵심 특징① 초고속 성능 (분산 컴퓨팅)빅쿼리는 수천 대의 컴퓨터가 동시에 작업하는 Dremel이라는 엔진을 사용하여 테라바이트(TB) 단위의 데이터도 단 몇 초 만에, 페타바이트(PB) 단위도 몇 분 안에 분석함. ② 저장소와 연산의 분리 (Separation of Storage and Compute)데이터를 저장하는 곳과 계산하는 엔진이 완전히 떨어져 있어서, 각각 필요한 만큼만 확장하고 비용을 낼 수 있음.따라서, 데이터를 많이 저장한다고 해서 분석 엔진 비용이 올라가지 않고분석을 많이 한다고 해서 저..

ETL vs ELT ETL (Extract - Transform - Load)소스에서 데이터를 추출하고 사전에 데이터를 변환한 후, 데이터베이스에 로드하는 프로세스Extract (HTTP 요청 등..)Transform (python 스크립트 등을 활용해 로컬에서 데이터 변환)Load (로컬 DB 등에 로드) ETL은 어떤 상황에 쓰기 좋을까?적합한 상황예시✔ 레거시 환경 또는 규제/컴플라이언스가 중요한 경우✔ 데이터 품질과 일관성을 사전에 엄격하게 관리해야 할 때✔ 데이터가 주로 **정형(structured)**이고, 스키마가 자주 변경되지 않을 때✔ 변환 로직이 복잡하고 미리 정제된 데이터를 필요로 할 때- 금융/헬스케어 업계처럼 민감 데이터 사전 검증이 중요한 경우- 데이터 웨어하우스로 보고용 정제 ..