ADsP 2과목 ‘데이터 분석 기획’의 세 번째 개념 정리입니다. 앞서 2편에서 KDD, CRISP-DM 등 전통적인 데이터 마이닝 방법론을 비교했다면, 이번 편에서는 현대 비즈니스 환경과 대규모 데이터 인프라에 맞춘 빅데이터 분석 방법론의 5단계 프로세스를 다룹니다.
빅데이터 프로젝트는 알고리즘 코딩을 넘어, 전사적 인프라 연계, 위험 통제, 사용자 교육, 배포 후 유지보수까지 긴 호흡으로 진행됩니다. 시험에서는 5개 단계의 순서뿐 아니라 각 단계에 속한 세부 태스크의 명칭과 활동 매핑, 위험 대응 4대 전략, 핵심 피드백 구간이 자주 출제됩니다.
쏠티북스 「선넘는 ADsP」 교재를 바탕으로, 대형 제조 공장의 5단계 턴키(Turn-key) 셋업 공정에 빗대어 기획부터 평가·전개까지의 전체 WBS와 산출물을 정리합니다. 2과목 전체 학습 흐름은 ADsP 2과목 독학 지도에서 확인할 수 있습니다.
1. 빅데이터 분석 방법론 5단계 프로세스 개요
빅데이터 분석 방법론은 2편에서 다룬 계층적 프로세스 모델(단계 → 태스크 → 스텝)을 기반으로 설계되었습니다. 분석 기획부터 최종 배포 및 사후 관리까지 5단계(Phase)로 구성되며, 각 단계는 고유한 태스크와 산출물을 가집니다.
분석기획(Planning) → 데이터 준비(Preparing) → 데이터 분석(Analyzing) → 시스템 구현(Developing) → 평가 및 전개(Deploying)
대형 스마트 공장 턴키 셋업(설계부터 준공 열쇠 전달까지의 전 과정)에 비유하면 다음과 같습니다.
- 1단계 분석기획: 공장 건설 착수 전 기본 설계도를 그리고 예산과 공사 위험을 관리하는 단계입니다.
- 2단계 데이터 준비: 제품 생산에 필요한 원자재 공급망을 확보하고 자재 전용 창고를 짓는 단계입니다.
- 3단계 데이터 분석: 들여온 자재를 시험 가공해 보며 최적의 가공 알고리즘과 시제품을 제작·검증하는 단계입니다.
- 4단계 시스템 구현: 검증된 공정을 실제 대량 양산 자동화 라인으로 시공하고 시험 가동하는 단계입니다.
- 5단계 평가 및 전개: 공장 준공 검사를 마치고 라인 유지보수 계획을 세우며 최종 보고서를 제출하는 단계입니다.
2. 1단계: 분석기획 (Planning)
프로젝트의 전체 방향성을 정의하고, 투입 범위와 예산, 발생 가능한 위험 요소를 선제적으로 통제하는 시작 단계입니다.
분석기획 단계의 3대 태스크
1. 비즈니스 이해 및 범위 설정: 프로젝트의 비즈니스 배경과 목적을 명확히 정의하고, 분석의 경계를 확정하는 프로젝트 범위기술서(SOW, Statement of Work)를 작성합니다. 2. 프로젝트 정의 및 계획 수립: 핵심 성과 지표(KPI)와 정량적 목표 수준을 구체화하고, 전체 작업 일정표인 작업 분할 구조도(WBS, Work Breakdown Structure)를 수립합니다. 3. 프로젝트 위험계획 수립: 데이터 수집 지연, 품질 불량, 기술적 한계 등으로 프로젝트가 지연되거나 실패하지 않도록 사전 위험 대응 계획을 수립합니다.
SOW(Statement of Work)는 비즈니스 목표에 따라 프로젝트에서 무엇을 왜 분석하는지 업무 범위를 명시한 의뢰 계약서이고, WBS(Work Breakdown Structure)는 그 범위를 달성하기 위해 누가 언제 어떤 순서로 작업을 수행할지 일정을 쪼갠 공정 설계도입니다.
위험 대응 4대 전략 (회·전·완·수)
빅데이터 분석 방법론에서는 프로젝트 실패나 납기 지연을 방지하기 위해 부정적 위험에 대응하는 네 가지 전략을 수립합니다. 시험에서 개념 연결 문제로 자주 출제됩니다.
| 전략 | 정의 | 플랜트 비유 |
|---|---|---|
| 회피 (Avoid) | 위험 요인을 원천 제거하거나 프로젝트 계획 자체를 변경 | 시공 부지 밑 거대 암반 발견 시 공장 위치를 이전 |
| 전이 (Transfer) | 위험 책임과 잠재 손실을 외부 기관이나 제3자에게 전가(외주, 보험 등) | 특수 위험 공정을 전문 외주사에 하도급하거나 손해보험 가입 |
| 완화 (Mitigate) | 사전 예방 활동으로 위험 발생 확률이나 부정적 영향을 줄임 | 기계 결함 방지를 위해 이중 안전 센서 설치, 안전 교육 강화 |
| 수용 (Accept) | 위험을 알고 있으나 치명적이지 않아 별도 사전 조치 없이 감내 | 경미한 자재 단가 인상을 예비비 안에서 감내 |
4대 전략의 앞 글자를 따서 ‘회·전·완·수’로 외워 두면 선지를 빠르게 가려낼 수 있습니다.
3. 2단계: 데이터 준비 (Preparing)
분석에 필요한 데이터를 체계적으로 정의하고, 다양한 원천 데이터를 담아둘 저장소 아키텍처를 설계하며 실제 수집을 수행하는 단계입니다.
데이터 준비 단계의 3대 태스크
1. 필요 데이터 정의: 분석 목적을 달성하기 위해 필요한 사내·외 데이터의 속성, 데이터 오너(담당 부서), 보관 시스템 위치를 구체적으로 정의합니다. (공장 비유: 필요한 강철 부품의 규격과 납품 업체를 목록화) 2. 데이터 스토어 설계: 정형, 반정형, 비정형 데이터를 안정적으로 수용할 수 있도록 논리적·물리적 데이터 저장소(데이터웨어하우스, 데이터레이크 등) 구조를 설계합니다. (공장 비유: 원자재 특성에 맞춰 표준 선반과 대형 야적 컨테이너 보관소를 시공) 3. 데이터 수집 및 정합성 점검: 크롤링, 오픈 API, 센서 스트리밍, 배치 연동 등으로 데이터를 수집하고, 정합성(결측치, 형식 오류 등)을 점검하여 품질을 보완합니다. (공장 비유: 화물차로 원자재를 입고하며 파손·불량 자재를 1차 검수)
4. 3단계: 데이터 분석 (Analyzing)
수집된 데이터를 탐색하고 전처리하여 최적의 머신러닝·통계 모델을 구축하고 검증하는 단계입니다.
데이터 분석 단계의 6대 태스크
1. 분석용 데이터 준비: 원천 저장소에서 분석 목적에 맞게 변수를 정제하고 모델링용 데이터셋을 최종 구성합니다. 2. 텍스트 분석: 비정형 텍스트 데이터를 자연어 처리(NLP) 기법으로 형태소 분석·토큰화하여 정형 분석이 가능한 형태로 변환합니다. 3. 탐색적 데이터 분석 (EDA): 기초통계량 산출과 데이터 시각화를 통해 변수 간 상관관계, 분포 특성, 이상값을 직관적으로 파악합니다. 4. 모델링: 분류, 회귀, 군집 등 적절한 머신러닝 알고리즘을 적용하고, 데이터를 훈련용과 검증용으로 분할하여 학습 모델을 생성합니다. 5. 모델 평가 및 검증: 사전 정의된 평가 기준(정확도, 재현율, RMSE 등)으로 모델 성능을 검토하고, 과적합 여부를 진단하여 파라미터 튜닝을 수행합니다. 6. 모델 적용 및 운영방안 수립: 검증 완료된 분석 모델을 실무 시스템에 탑재하기 위한 적용 방안과 지속적인 성능 모니터링 체계를 설계합니다.
데이터 준비와 분석 간의 반복 피드백 루프
빅데이터 분석 방법론에서 가장 빈번하게 반복 피드백이 발생하는 구간은 데이터 준비 단계와 데이터 분석 단계 사이입니다.
분석 단계에서 EDA나 모델링을 진행하다 보면 이상치가 새롭게 발견되거나, 기존 변수만으로는 모델 성능이 나오지 않아 새로운 파생변수 추출 및 추가 원천 데이터 수집이 불가피해지기 때문입니다. 따라서 두 단계는 고정된 일방통행이 아니라 유기적인 순환 루프를 형성합니다.
5. 4단계: 시스템 구현 (Developing)
검증된 분석 모델과 알고리즘을 현업 실무진이 일상 업무에서 활용할 수 있도록 실제 IT 소프트웨어 시스템으로 구축하는 단계입니다.
시스템 구현 단계의 2대 태스크
1. 설계 및 구현: 데이터 파이프라인 아키텍처와 사용자 화면(UI/UX) 설계를 수행하고, BI 대시보드 연동 또는 전용 프로그래밍을 통해 운영 시스템을 개발합니다. (공장 비유: 시험용 기계를 해체하고, 중앙 제어반과 연결된 무인 자동화 양산 라인을 조립) 2. 시스템 테스트 및 운영: 단위·통합 테스트를 수행하고, 현업 운영자와 사용자를 대상으로 기능 교육을 진행합니다. (공장 비유: 양산 라인 정식 가동 전 시운전 테스트를 거치고, 현장 오퍼레이터에게 조작법을 교육)
6. 5단계: 평가 및 전개 (Deploying)
구축된 시스템의 비즈니스 성과를 최종 결산하고, 모델이 도태되지 않도록 지속적인 유지보수 발전 계획을 수립하는 완공 단계입니다.
평가 및 전개 단계의 2대 태스크
1. 모델 발전계획 수립: 데이터 드리프트(Data Drift) 등으로 모델 성능이 저하되는 것을 방지하기 위해 모델 생명주기를 설정하고, 주기적인 재학습·재구축 및 유지보수 방안을 마련합니다. (공장 비유: 설비 가동 수명 주기와 정기 부품 교체 정비 스케줄표를 확정) 2. 프로젝트 평가 및 보고: 추진 결과를 정량적(비용 절감액, 정확도 달성률) 및 정성적(업무 편의성 증대) 지표로 정리하여 최종 프로젝트 완료 보고서를 작성합니다. (공장 비유: 준공 감리 승인서와 투자 대비 원가 절감 실적 보고서를 이사회에 제출)
7. 5단계 WBS 종합 정리표
5개 단계와 16개 태스크의 소속을 한눈에 대조하는 표입니다.
| 단계 | 태스크 | 핵심 산출물 |
|---|---|---|
| 1. 분석기획 (Planning) | 비즈니스 이해·범위 설정 / 프로젝트 정의·계획 / 위험계획 | SOW, WBS, 위험관리계획서 |
| 2. 데이터 준비 (Preparing) | 필요 데이터 정의 / 스토어 설계 / 수집·정합성 점검 | 데이터 정의서, 스토어 설계서, 정제 데이터셋 |
| 3. 데이터 분석 (Analyzing) | 분석용 데이터 준비 / 텍스트 분석 / EDA / 모델링 / 평가·검증 / 운영방안 | EDA 보고서, ML 모델, 모델 평가서 |
| 4. 시스템 구현 (Developing) | 설계·구현 / 테스트·운영 | 아키텍처 설계서, UI, 테스트 결과서, 매뉴얼 |
| 5. 평가 및 전개 (Deploying) | 발전계획 / 평가·보고 | 모델 운영 매뉴얼, 최종 보고서 |
8. 시험에서는 이렇게 출제됩니다
태스크 소속 단계 짝짓기가 가장 자주 나옵니다.
- “시스템 테스트 및 운영 태스크가 수행되는 단계는?” → 시스템 구현 (Developing)
- “프로젝트 위험계획 수립 태스크가 포함된 단계는?” → 분석기획 (Planning)
- “모델 발전계획 수립 태스크가 진행되는 단계는?” → 평가 및 전개 (Deploying)
위험 대응 전략 4가지 개념 매칭도 출제됩니다.
- “위험 요소를 원천 제거하거나 계획 자체를 수정” → 회피 (Avoid)
- “외주나 보험을 통해 위험을 외부에 전가” → 전이 (Transfer)
- “사전 조치로 발생 확률이나 영향을 줄임” → 완화 (Mitigate)
- “별도 조치 없이 감내” → 수용 (Accept)
반복 피드백 구간도 출제됩니다. “변수 선택, 이상값 처리, 모델 적합성 개선을 위해 가장 집중적으로 반복 피드백이 일어나는 구간은?” → 데이터 준비 단계와 데이터 분석 단계 사이입니다.
EDA의 정의를 묻는 문제도 나옵니다. 모델링 이전에 기초통계량과 시각화를 통해 데이터 특성과 이상값을 직관적으로 파악하는 태스크입니다.
9. 옆 개념과의 연결
이번 3편에서는 빅데이터 분석 프로젝트를 체계적으로 수행하기 위한 5단계 표준 절차(WBS)를 정리했습니다. 표준 방법론이라는 시공 도구가 갖춰졌다면, 이제 “어떤 비즈니스 문제를 데이터 분석 과제로 채택할 것인가”를 발굴해야 합니다.
다음 4편에서는 경영진의 전략 지시로부터 구체적인 분석 과제를 도출하는 하향식 접근법(Top-Down)과 비즈니스 모델 캔버스를 다룹니다.
자주 묻는 질문
위험 대응 전략 중 완화와 회피는 어떻게 구별하나요?
회피(Avoid)는 위험을 유발하는 활동 자체를 포기하거나 계획을 취소·변경하여 위험 확률을 0으로 만드는 것입니다. 완화(Mitigate)는 프로젝트를 그대로 진행하되, 사전 예방 활동(교육 강화, 이중화 장치 등)을 통해 발생 확률이나 피해 규모를 줄이는 전략입니다.
EDA는 왜 데이터 준비 단계가 아니라 분석 단계에 있나요?
데이터 준비 단계는 데이터를 규격에 맞게 수집하고 저장하는 인프라 중심의 작업(ETL 등)이며, 수집된 데이터를 바탕으로 변수 간 관계를 시각화하고 이상값을 판별하는 것은 이미 분석(Analyzing) 영역에 진입했기 때문입니다.
SOW와 WBS는 각각 어떤 역할을 하나요?
SOW(프로젝트 범위기술서)는 발주자와 수행자 간에 “이번 프로젝트는 여기까지 분석한다”는 거시적 계약 기준선이며, WBS는 그 합의된 범위를 달성하기 위해 실무진이 일별·주별로 쪼개어 실행하는 세부 일정 계획표입니다.
마무리
3편에서는 대형 제조 공장 5단계 턴키 셋업 비유를 통해 빅데이터 분석 방법론의 5단계 프로세스(기획·준비·분석·구현·평가전개), 각 단계별 핵심 태스크, 위험 대응 4대 전략인 ‘회·전·완·수’, 그리고 데이터 준비 ↔ 분석 간의 순환 피드백 구조를 정리했습니다.
각 태스크가 5단계 중 어느 상위 단계에 속하는지를 중심으로 눈에 익혀 두면 시험에서 안정적으로 득점할 수 있습니다. 다음 4편에서는 분석 과제 발굴의 첫 번째 관문인 하향식 접근법(Top-Down) 4단계를 다룹니다.
