ADsP(데이터분석 준전문가) 제1과목 ‘데이터의 이해’의 전반부(PART 1)를 마무리하는 이번 단원에서는 기업이 방대한 데이터를 실무 업무와 전략적 의사결정에 활용하기 위해 구축하는 기업 내부 데이터베이스 시스템과 데이터웨어하우스(DW), 데이터레이크(DL)의 개념을 다룹니다.
실무 데이터 분석 환경은 일상적인 거래를 처리하는 운영 시스템과 대규모 분석을 전담하는 저장소가 철저히 분리되어 운영됩니다.
쏠티북스의 『선넘는 ADsP』 교재를 바탕으로, 비전공자도 직관적으로 이해할 수 있도록 공장의 부품 출고 창구와 정밀 제품 분석 창고에 빗대어 OLTP와 OLAP의 차이, 기업 핵심 시스템(ERP·SCM·CRM·RTE), DW의 4대 특징(주·통·시·비), 그리고 DW와 DL의 구조적 차이를 차근차근 정리해 보겠습니다. 1과목 전체 학습 순서는 ADsP 1과목 독학 지도에서 확인할 수 있습니다.
1. OLTP와 OLAP: 부품 불출대와 공정 분석실의 차이
기업의 데이터베이스 처리는 사용 목적에 따라 실시간 일상 업무를 처리하는 OLTP와 장기적인 전략 분석을 지원하는 OLAP로 명확히 나뉩니다.
이를 제조 공장의 물류 운영 체계에 비유하면 다음과 같습니다.
- OLTP (온라인 트랜잭션 처리): 현장 작업자가 부품을 하나 꺼낼 때마다 실시간으로 수량을 차감하는 ‘공장 부품 즉시 불출 창구’입니다. 데이터의 정합성과 빠른 속도가 생명입니다.
- OLAP (온라인 분석 처리): 지난 수년간의 부품 사용량, 계절별 불량 추이, 생산 라인별 효율을 다각도로 비교 검토하는 ‘종합 공정 통계 분석실’입니다.
| 비교 항목 | OLTP (On-Line Transaction Processing) | OLAP (On-Line Analytical Processing) |
|---|---|---|
| 주요 목적 | 일상적인 거래 및 단기 운영 데이터의 실시간 처리 | 다차원 분석을 통한 경영진의 전략적 의사결정 지원 |
| 데이터 형태 | 고도로 정규화된 현재 시점의 단기 데이터 (중복 최소화) | 비정규화(중복 허용), 과거 이력이 누적된 대량의 다차원 데이터 |
| 핵심 작업 | 잦은 갱신(Insert, Update, Delete)과 건별 단순 조회 | 대규모 복합 조회(Select), 통계 집계, 추세 분석 |
| 시스템 초점 | 실시간 트랜잭션 무결성과 빠른 응답 속도 보장 | 분석 쿼리의 처리 효율성과 다차원 모델링 |
| 제조 비유 | 부품 1개 출고 등록, 일일 생산량 즉시 전산 입력 | 월별 공정 수율 추이 분석, 라인별 결함 상관관계 분석 |
2. 기업 내부 데이터베이스의 확장: 4대 핵심 정보시스템
기업의 전산화가 고도화되면서 부서별로 흩어져 있던 데이터베이스는 전사적으로 통합 관리되는 시스템으로 발전했습니다.
| 시스템명 | 풀네임 | 핵심 개념 및 역할 | 공장 운영 비유 |
|---|---|---|---|
| ERP | Enterprise Resource Planning(전사적 자원관리) | 인사, 재무, 생산, 자재, 판매 등 기업의 모든 자원을 하나의 통합 DB로 일원화하여 관리 | 공장의 인사 관리, 원자재 구매, 설비 가동, 회계를 하나의 대장으로 묶은 중앙 통제실 |
| SCM | Supply Chain Management(공급망 관리) | 원자재 수급부터 제조, 유통, 최종 소비자 전달까지 공급망 전 과정의 정보를 공유하고 최적화 | 원자재 납품 트럭부터 최종 완성품 배송망까지 물류 컨베이어를 실시간으로 연결한 파이프라인 |
| CRM | Customer Relationship Management(고객관계 관리) | 고객 데이터를 수집·통합 분석하여 고객 맞춤형 전략 수립 및 고객 유지율·수익성을 극대화 | 납품처별 주문 이력과 품질 요구사항을 기록하여 맞춤형 주문 생산을 지원하는 전담 고객 관리부 |
| RTE | Real-Time Enterprise(실시간 기업) | 핵심 업무 프로세스에서 발생하는 정보를 실시간으로 전달하여 업무 지연을 최소화하고 의사결정을 초고속화 | 센서 이상 신호가 감지되는 즉시 공장장 모니터에 경보를 띄우고 즉각 대처하는 초연결 공장망 |
참고: 기업 시스템 통합 및 금융·유통 기술
– EAI (Enterprise Application Integration): 기업 내 ERP, CRM 등 서로 다른 시스템 간의 데이터를 연계해 주는 통합 미들웨어 기술입니다.
– KMS (Knowledge Management System): 조직 구성원의 노하우와 지식을 공유하는 지식관리시스템입니다.
– RFID: 무선 주파수를 이용해 부품과 제품의 고유 ID를 비접촉으로 자동 식별하는 센서 기술입니다.
3. 데이터웨어하우스(DW)와 4대 핵심 특징
데이터웨어하우스(Data Warehouse, DW)는 기업 내부의 다양한 운영계 시스템(ERP, CRM 등)과 외부 소스로부터 추출한 데이터를 분석 목적에 맞게 통합·정제하여 체계적으로 저장한 중앙 분석 저장소입니다.
(1) DW 구축의 핵심 프로세스: ETL과 ODS
운영 시스템의 원천 데이터가 DW로 적재되기 위해서는 중간 정제 과정을 거칩니다.
- ETL (Extract, Transform, Load): 다양한 소스에서 데이터를 추출(Extract)하고, 분석에 적합하도록 정제·변환(Transform)하여, DW에 적재(Load)하는 일련의 파이프라인입니다.
- ODS (Operational Data Store): 여러 DBMS에서 추출된 데이터가 DW로 정제·적재되기 전 임시로 통합 저장되는 중간 버퍼 저장소입니다.
- 데이터마트 (Data Mart, DM): DW로부터 특정 부서(예: 마케팅팀, 재무팀)나 특정 분석 주제에 맞추어 소규모로 구축한 부분 저장소입니다.
(2) 데이터웨어하우스(DW)의 4대 특징 (주·통·시·비)
ADsP 시험에서 가장 빈번하게 출제되는 핵심 이론입니다. ‘주·통·시·비’로 암기하면 쉽게 해결할 수 있습니다.
| 4대 특징 | 학술적 정의 및 세부 설명 | 공장 완제품 창고 비유 |
|---|---|---|
| 1. 주제지향성 (Subject-oriented) | 일상적인 업무 처리 단위가 아니라 ‘매출’, ‘고객’, ‘제품’, ‘공정’과 같은 분석 주제 중심으로 데이터가 구조화됨 | 일일 영수증 순서가 아닌 ‘A형 엔진 라인’, ‘B형 모터 라인’ 등 품목 주제별로 정돈된 보관 구역 |
| 2. 데이터 통합 (Integrated) | 여러 부서와 이기종 시스템에서 수집된 데이터의 단위, 코드 체계, 명칭 등을 표준화된 일관된 형식으로 통합 | 각 하청업체마다 달랐던 부품 규격과 단위를 본사 표준 미터법 규격으로 통일하여 적재 |
| 3. 시계열성 (Time-variant) | 특정 시점의 스냅샷뿐만 아니라 과거부터 현재까지 시간 흐름에 따른 이력 데이터를 보존하여 추세 분석 지원 | 최근 5개년 연도별·분기별 제품 생산 이력과 품질 검사 기록을 연대기순으로 차곡차곡 보관 |
| 4. 비휘발성 (Non-volatile) | 데이터가 한 번 적재되면 수정이나 삭제가 발생하지 않으며, 오직 읽기 전용(Read-Only)으로만 조회됨 | 출고 검사가 완료되어 봉인된 완제품 상자는 내용을 수정하지 않고 품질 이력 조회용으로만 열람 |
4. 데이터웨어하우스(DW) vs 데이터레이크(DL)
빅데이터 시대에 접어들며 비정형 데이터(로그, 이미지, 음성 등)가 급증함에 따라 새로운 저장소 개념인 데이터레이크(Data Lake, DL)가 등장했습니다.
| 비교 항목 | 데이터웨어하우스 (Data Warehouse) | 데이터레이크 (Data Lake) |
|---|---|---|
| 저장 데이터 유형 | 정제·가공을 마친 정형 데이터 중심 | 가공되지 않은 원시 데이터 (정형·반정형·비정형 전체) |
| 스키마 적용 시점 | Schema-on-Write (저장 시점에 스키마 확정) | Schema-on-Read (분석 시점에 스키마 정의) |
| 데이터 상태 | 선별·정제되어 즉시 보고서에 쓸 수 있는 정제수 | 자연 상태 그대로 흘러 들어온 거대한 호수(원천수) |
| 주요 사용자 | 비즈니스 분석가, 경영진, 실무 기획자 | 데이터 엔지니어, 데이터 사이언티스트, 머신러닝 연구원 |
| 공장 창고 비유 | 용도별로 완벽히 분류·포장된 ‘규격 완제품 보관 창고’ | 채굴된 광석과 흙, 자갈을 통째로 모아둔 ‘원자재 종합 집하장’ |
5. 시험에서는 이렇게 출제됩니다
- OLTP vs OLAP 구별: “실시간 트랜잭션 중심의 일상 업무 처리 시스템”은 OLTP, “다차원 분석 중심의 의사결정 지원 시스템”은 OLAP임을 매칭하는 문제가 자주 나옵니다.
- DW 4대 특징(주·통·시·비) 판별: 보기에 주제지향성, 통합성, 시계열성을 제시하고 ‘휘발성’, ‘실시간 갱신성’, ‘업무지향성’ 등의 오답 지문을 섞어놓는 함정을 피해야 합니다.
- DW와 데이터레이크 비교: “원시 형태(Raw Data)의 정형·비정형 데이터를 가공 없이 그대로 저장하는 확장형 저장소는?”이라는 질문에 데이터레이크를 정확히 고를 수 있어야 합니다.
6. 옆 개념과의 연결
지금까지 01편부터 07편에 걸쳐 데이터의 기본 정의, 분류, DB 설계와 기업 내부 저장 인프라(DW/DL)까지 PART 1 데이터의 이해 핵심 개념을 모두 학습했습니다.
다음 08편부터는 본격적으로 대용량 데이터의 폭발과 클라우드 컴퓨팅 기술이 촉발한 패러다임 변화를 다루는 PART 2 데이터의 가치와 미래로 넘어가 08편 빅데이터의 정의와 출현 배경을 학습합니다.
자주 묻는 질문(FAQ)
Q1. 데이터웨어하우스(DW)의 데이터는 왜 ‘비휘발성’인가요?
A. DW는 과거의 추세와 패턴을 분석하기 위한 목적의 저장소이기 때문입니다. 데이터가 실시간으로 수정되거나 삭제되면 과거 이력 분석의 신뢰성이 무너지므로, 한 번 적재된 데이터는 변경하지 않고 읽기 전용으로 보존합니다.
Q2. 데이터마트(Data Mart)와 데이터웨어하우스(DW)는 어떻게 다른가요?
A. 데이터웨어하우스는 기업 전체의 데이터를 포괄하는 중앙 저장소이고, 데이터마트는 DW로부터 마케팅, 재무 등 특정 부서나 분석 목적에 맞춰 소규모로 떼어내 구축한 하위 저장소입니다.
Q3. ODS(운영 데이터 저장소)는 왜 필요한가요?
A. 여러 원천 운영 시스템(OLTP)에서 추출한 데이터를 곧바로 DW에 집어넣으면 시스템 부하가 크고 형식 충돌이 일어납니다. ODS는 중간에서 데이터를 1차로 모으고 정제(ETL)하기 위한 완충지대 역할을 수행합니다.
마무리
07편에서는 기업 내부 데이터 시스템의 핵심 축인 OLTP와 OLAP의 구분, ERP·SCM·CRM 등 기업 시스템, 그리고 분석용 저장소인 데이터웨어하우스(DW)의 4대 특징(주제지향성·통합성·시계열성·비휘발성)과 데이터레이크(DL)의 차이점을 정리했습니다.
이로써 PART 1의 모든 단원 정리가 완성되었습니다. 다음 08편부터는 새로운 파트인 빅데이터의 정의와 출현 배경으로 이어가겠습니다.
