ADsP 2과목 ‘데이터 분석 기획’의 두 번째 개념 정리입니다. 앞서 1편에서 분석 기획의 방향성과 4대 분석 유형을 잡았다면, 이번에는 분석을 실행에 옮기기 위한 구체적인 표준 절차서, 즉 분석 방법론을 다룹니다.
실무에서 데이터 분석은 분석가의 직관이나 감에만 의존해 즉흥적으로 진행될 수 없습니다. 여러 엔지니어와 기획자가 협업하여 결과물을 도출하려면 절차, 작업 규칙, 산출물이 규격화되어 있어야 합니다.
쏠티북스 「선넘는 ADsP」 교재를 바탕으로, 스마트 팩토리 플랜트 표준 시공 절차서에 빗대어 분석 방법론의 4대 구성요소, 계층적 프로세스 모델, SDLC 4대 모델, KDD·CRISP-DM·SEMMA의 단계별 절차와 상호 대응 관계를 정리합니다. 2과목 전체 학습 흐름은 ADsP 2과목 독학 지도에서 확인할 수 있습니다.
1. 데이터 분석 방법론의 정의와 4대 구성요소
분석 방법론은 데이터 분석 프로젝트를 체계적으로 수행하기 위해 전 과정을 단계별로 정형화하고 표준화해 둔 실행 프레임워크입니다.
플랜트 토목 공사의 표준 시공 감리 지침서에 비유할 수 있습니다. 아무리 뛰어난 기술자라도 각자 방식대로 땅을 파고 기둥을 세우면 건물이 무너지듯, 데이터 분석 역시 전사 차원의 공통 규격서가 있어야 품질 편차를 없애고 실패 위험을 통제할 수 있습니다.
분석 방법론은 다음 네 가지 요소로 구성되며, 시험에서 짝짓기 문제로 자주 출제됩니다.
| 구성 요소 | 정의 및 역할 | 플랜트 시공 비유 |
|---|---|---|
| 절차 (Procedure) | 분석 과제를 시작부터 완료까지 이끌어가는 단계적 실행 순서 | 기초공사 → 골조 조립 → 배관 배선 → 설비 안착 → 시운전 |
| 방법 (Methods) | 각 절차를 수행하는 데 필요한 구체적 분석 기법과 알고리즘 | 지반 다지기 공법, 철골 레이저 정밀 용접 기술 |
| 도구와 기법 (Tools & Techniques) | 분석 작업의 효율을 높여주는 소프트웨어 도구와 기술 | 굴삭기·크레인 등 중장비, 비파괴 균열 측정 센서 |
| 템플릿과 산출물 (Templates & Outputs) | 각 공정이 끝날 때마다 생성되는 표준 문서 양식 및 보고서 | 지반 안전 진단서, 자재 검수 확인서, 준공 도면 |
4대 구성요소의 앞 글자를 따서 ‘절·방·도·산’으로 외워 두면 선지를 빠르게 가려낼 수 있습니다.
2. 데이터 분석 모델의 뼈대: 계층적 프로세스 모델
대규모 분석 프로젝트는 작업을 체계적으로 통제하기 위해 단계(Phase) → 태스크(Task) → 스텝(Step)의 3단 계층 구조를 채택합니다.
(1) 단계 (Phase)
최상위 계층으로, 논리적으로 완결된 프로세스 그룹입니다. 단계가 완료될 때마다 공식적인 산출물이 생성되며, 다음 단계 진입 여부를 결정하는 기준선(Baseline)으로 설정되어 형상 관리를 거칩니다. 플랜트 비유로 보면, 기초 바닥이 양생되어 공인 검측을 통과해야 다음 골조 조립 단계로 넘어갈 수 있는 것과 같습니다.
(2) 태스크 (Task)
단계를 구성하는 단위 활동입니다. 물리적 또는 논리적 작업 단위로 구분되며, 실무 감리에서 품질 검토의 기본 대상이 됩니다. 플랜트 비유로 보면, 기초 토목 공사 단계 안에서 수행되는 지반 굴착, 철근 배근, 콘크리트 타설 같은 개별 작업에 해당합니다.
(3) 스텝 (Step)
태스크를 구성하는 가장 작은 최소 실행 단위입니다. 입력 자료(Input) → 처리 및 도구(Process & Tools) → 출력 자료(Output)의 명확한 구조를 가지며, 일정표(WBS) 상에서 단기간에 독립적으로 실행되는 워크 패키지(Work Package)에 해당합니다. 플랜트 비유로 보면, 콘크리트 타설 태스크를 세분화한 레미콘 배차 검수, 펌프카 호스 연결, 바이브레이터 기포 제거 같은 세부 작업입니다.
3. 소프트웨어 개발 생명주기(SDLC) 4대 모델 비교
데이터 분석 프로젝트는 시스템 구축과 밀접하게 연동되므로, 소프트웨어 공학의 4대 개발 모델 특성을 이해해야 합니다.
| 개발 모델 | 핵심 특징 | 플랜트 비유 |
|---|---|---|
| 폭포수 (Waterfall) | 이전 단계가 끝나야 다음으로 넘어가는 엄격한 순차 진행. 단계 구분이 명확하나 유연성이 낮음 | 설계도 승인이 끝나야 착공하고, 골조가 올라가야 내부 공사를 시작하는 전통 방식 |
| 프로토타입 (Prototype) | 요구사항이 불명확할 때 견본품을 만들어 피드백을 수렴하며 완성. 요구 구체화에 유리하나 비용 초과 위험 | 아파트 단지를 짓기 전 모델하우스를 먼저 지어 입주자 반응을 보고 설계를 수정하는 방식 |
| 나선형 (Spiral) | 계획 → 위험 분석 → 개발 → 고객 평가를 반복 회전하며 위험을 줄여감. 대형 프로젝트에 적합하나 관리가 복잡 | 원자력 발전소를 지을 때 매 공정마다 재난 위험성 평가를 최우선으로 검증하며 짓는 방식 |
| 애자일 (Agile) | 짧은 주기(Sprint) 단위로 핵심 기능을 만들어 지속 배포. 민첩 대응이 가능하나 완료 시점 예측이 어려움 | 공장 전체를 한 번에 짓지 않고 1번 라인부터 모듈형으로 가동한 뒤 차례로 확장하는 방식 |
4. 데이터 마이닝 방법론 ①: KDD (5단계)
1996년 파이야드(Fayyad) 등이 제안한 KDD(Knowledge Discovery in Databases)는 데이터베이스에 쌓인 원시 데이터로부터 의미 있는 지식을 체계적으로 추출하는 학술적 분석 방법론입니다.
5단계의 순차적 절차를 거치며, 결과가 불만족스러울 경우 앞선 단계로 되돌아가는 피드백 루프를 가집니다.
데이터 선택 → 전처리 → 변환 → 데이터 마이닝 → 평가
1. 데이터 선택 (Selection): 분석 목적에 필요한 비즈니스 도메인을 이해하고, 원천 DB에서 분석 대상이 될 목표 데이터셋을 선별·추출합니다. (공장 비유: 야적장에서 이번 가공에 투입할 철광석 묶음을 골라내는 작업) 2. 전처리 (Preprocessing): 원시 데이터에 섞인 잡음(Noise), 결측값, 이상값을 식별하고 정제하여 순수한 데이터로 가공합니다. (공장 비유: 철광석에 묻은 진흙과 불순물을 고압 세척하는 작업) 3. 변환 (Transformation): 분석 목적에 맞게 변수를 선택(Feature Selection)하거나 차원을 축소하고, 단위를 표준화하거나 파생변수를 생성하는 등 데이터를 재구성합니다. (공장 비유: 세척된 광석을 용광로 규격에 맞게 분쇄하고 펠릿 형태로 성형하는 작업) 4. 데이터 마이닝 (Data Mining): 분석 목적(분류, 군집, 연관규칙 등)에 맞는 알고리즘을 적용하여 데이터 속 규칙이나 패턴을 찾아내는 핵심 단계입니다. (공장 비유: 성형된 원료를 정밀 제련 기계에 넣어 고순도 금속 부품을 뽑아내는 작업) 5. 평가 (Evaluation): 도출된 패턴이 실제로 타당하고 유의미한지 해석하고 평가하며, 필요 시 앞 단계로 되돌아가 재수행합니다. (공장 비유: 생산된 부품의 강도와 치수를 검측하여 기준 미달 시 다시 배합 단계로 되돌려 재가공하는 검수 작업)
5. 산업계 글로벌 표준 방법론 ②: CRISP-DM (6단계)
1996년 EU의 ESPRIT 프로젝트 일환으로 다임러크라이슬러, NCR, SPSS 등이 공동 개발한 CRISP-DM(Cross Industry Standard Process for Data Mining)은 전 세계 데이터 분석 프로젝트에서 가장 널리 활용되는 실무 산업 표준 프로세스 모델입니다.
KDD가 다루지 않는 비즈니스 목표 정의(업무 이해)와 분석 결과를 실무 시스템에 탑재하는 전개(배포) 단계를 명확히 규정한 것이 특징입니다.
CRISP-DM 6단계
| 단계 | 핵심 활동 | 플랜트 비유 |
|---|---|---|
| 1. 업무 이해 (Business Understanding) | 비즈니스 관점에서 목적과 요구사항을 파악하고, 데이터 마이닝 문제로 변환하여 계획서 수립 | 본사 경영진의 품질 개선 목표를 확인하고 공장 증설 타당성과 일정을 수립 |
| 2. 데이터 이해 (Data Understanding) | 초기 데이터를 수집하고 속성과 품질을 진단하며, 탐색(EDA)을 통해 초기 인사이트 도출 | 기존 공장의 자재 현황을 실사하고 센서 데이터의 결측·오작동 여부를 점검 |
| 3. 데이터 준비 (Data Preparation) | 모델링에 투입할 분석 데이터셋 구축: 데이터 선택, 결측치 정제, 파생변수 생성, 통합 및 포맷 변환 | 조립 라인에 투입할 수 있도록 철판을 표준 규격에 맞게 절단하고 볼트를 규격화 |
| 4. 모델링 (Modeling) | 모델링 기법(의사결정나무, 신경망 등)을 선택하고 파라미터를 튜닝하며 모델 구축 및 자체 테스트 수행 | 자동화 로봇을 프로그래밍하여 시험 부품을 제작하고 정밀도를 미세 조율 |
| 5. 평가 (Evaluation) | 구축된 모델이 초기 비즈니스 목적에 부합하는지 종합 검토하고 승인 여부를 최종 결정 | 시제품이 본사가 요구한 인장 강도와 원가 절감 목표를 충족하는지 최종 감리 |
| 6. 전개 (Deployment) | 승인된 모델을 운영 시스템에 배포하고, 모니터링 및 유지보수 계획 수립, 완료 보고서 작성 | 신규 설비를 양산 라인에 편입시키고 정비 점검 매뉴얼을 현장에 인계 |
CRISP-DM의 핵심 피드백 루프
CRISP-DM은 일직선으로 진행되지 않고 단계 간 끊임없는 피드백이 발생합니다.
- 업무 이해 ↔ 데이터 이해: 데이터를 들여다보다 비즈니스 목표가 비현실적임을 깨닫고 목표를 재조정합니다.
- 데이터 준비 ↔ 모델링: 모델 성능이 안 나오면 다시 데이터 준비로 돌아가 변수를 추가하거나 정제합니다.
- 평가 → 업무 이해 (위대한 실패): 5단계 평가에서 모델이 비즈니스 요구사항을 달성하지 못하면 전개(6단계)로 가지 못하고 1단계 업무 이해로 완전히 되돌아갑니다. 교재에서는 이를 ‘위대한 실패(Great Failure)’라 부르며, 비즈니스 목적과의 정합성을 엄격히 재검토해야 함을 의미합니다.
6. 기업 특화 방법론 ③: SEMMA (5단계)
글로벌 통계 분석 소프트웨어 기업인 SAS사에서 제안한 데이터 마이닝 실무 방법론입니다. KDD나 CRISP-DM에 비해 비즈니스 기획이나 배포보다는 순수 데이터 분석 및 모델링 기술 절차에 집중된 구조를 가지고 있습니다.
Sample(샘플링) → Explore(탐색) → Modify(수정) → Model(모델링) → Assess(평가)
1. Sample (샘플링): 대용량 데이터에서 통계적으로 대표성을 지닌 분석용 표본 데이터를 추출합니다. 2. Explore (탐색): 탐색적 데이터 분석(EDA)을 통해 변수 분포, 왜곡, 이상치를 시각화하고 파악합니다. 3. Modify (수정/변형): 파생변수 생성, 변수 변환(로그 변환 등), 데이터 그룹화를 통해 모델링에 최적화된 상태로 가공합니다. 4. Model (모델링): 신경망, 회귀분석, 군집분석 등 통계·머신러닝 기법을 적용하여 모델을 구축합니다. 5. Assess (평가): 서로 다른 모델 간 성능(예측력, 오차율)을 비교 검증하고 유효성을 평가합니다.
7. 3대 데이터 마이닝 방법론 단계별 대응 비교표
KDD, CRISP-DM, SEMMA의 단계가 서로 어떻게 대응되는지를 정리한 표입니다.
| 프로세스 흐름 | KDD (학술) | CRISP-DM (산업 표준) | SEMMA (SAS 특화) |
|---|---|---|---|
| 비즈니스 기획 | (도메인 이해) | 업무 이해 (Business Understanding) | (생략) |
| 데이터 탐색·확인 | 데이터 선택 (Selection) | 데이터 이해 (Data Understanding) | Sample / Explore |
| 데이터 정제·가공 | 전처리 (Preprocessing) + 변환 (Transformation) | 데이터 준비 (Data Preparation) | Modify |
| 알고리즘 모델링 | 데이터 마이닝 (Data Mining) | 모델링 (Modeling) | Model |
| 성능·결과 검증 | 평가 (Evaluation) | 평가 (Evaluation) | Assess |
| 운영 시스템 배포 | (지식 활용) | 전개 (Deployment) | (생략) |
8. 시험에서는 이렇게 출제됩니다
절차 순서를 묻는 문제가 가장 자주 나옵니다.
- KDD 순서: 데이터 선택 → 전처리 → 변환 → 데이터 마이닝 → 평가 (전처리와 변환의 순서를 바꾸는 함정 주의)
- CRISP-DM 순서: 업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개 (데이터 준비와 이해 순서 뒤집기 주의)
- SEMMA 순서: Sample → Explore → Modify → Model → Assess (앞 글자를 딴 명칭 그대로 암기)
모델 평가에 관한 함정 문제도 출제됩니다. “모델 성능 평가는 5단계 평가에서만 이루어진다”는 오답입니다. 4단계 모델링 안에도 테스트 데이터셋을 활용한 자체 모델 평가가 포함되어 있고, 5단계 평가는 기술적 성능뿐 아니라 비즈니스 목적 부합 여부를 종합적으로 검토하는 단계입니다.
소프트웨어 개발 모델 매칭 문제도 출제됩니다.
- “요구사항이 모호할 때 시제품을 먼저 제작하여 피드백을 받는 모델” → 프로토타입 모델
- “대규모 프로젝트에서 위험 분석을 점진적으로 반복하는 모델” → 나선형 모델
- “순차적 구조로 단계 구분이 명확하나 유연성이 떨어지는 모델” → 폭포수 모델
계층적 프로세스 모델 짝짓기도 나옵니다.
- 기준선(Baseline) 관리 대상인 최상위 그룹 → 단계 (Phase)
- WBS 상 워크 패키지로 입출력이 명확한 최소 단위 → 스텝 (Step)
9. 옆 개념과의 연결
이번 2편에서는 소프트웨어 공학의 개발 모델과 데이터 마이닝의 3대 표준 절차서(KDD, CRISP-DM, SEMMA)를 정리했습니다. 하지만 현대 기업의 빅데이터 환경은 단순 데이터 마이닝을 넘어 인프라 구축, 거버넌스, 실시간 시스템 운영까지 복합적으로 얽혀 있습니다.
다음 3편에서는 이러한 전통 모델을 계승하여 빅데이터 환경에 맞춘 5단계 분석 방법론의 상세 태스크(WBS)와 산출물을 다룹니다.
자주 묻는 질문
KDD의 전처리와 변환은 어떻게 다른가요?
전처리(Preprocessing)는 이상치 제거, 결측치 대체, 노이즈 필터링처럼 지저분한 데이터를 깨끗하게 닦아내는 정제 작업입니다. 변환(Transformation)은 깨끗해진 데이터를 바탕으로 차원을 축소하거나 변수를 선택하고, 파생변수를 만드는 등 분석에 적합한 형태로 재구성하는 단계입니다.
CRISP-DM이 KDD보다 실무에서 높은 평가를 받는 이유는 무엇인가요?
KDD는 데이터에서 지식을 찾는 데 집중한 학술적 성격이 강합니다. 반면 CRISP-DM은 프로젝트 착수 전 업무 이해(비즈니스 목표 수립)와 분석 완료 후 실제 시스템에 탑재하는 전개(배포) 단계를 공식 프로세스로 규정하여 비즈니스 가치 창출을 직접적으로 지원하기 때문입니다.
폭포수 모델은 단점이 많은데 왜 시험에 나오나요?
공정이 엄격하고 단계별 산출물이 명확하여, 요구사항이 법적으로 확정되어 있는 공공기관이나 대형 금융권 차세대 전산망처럼 대규모 프로젝트의 감리 기준선으로 여전히 활용되고 있기 때문입니다.
마무리
2편에서는 스마트 팩토리 시공 감리 매뉴얼 비유를 통해 분석 방법론의 4대 구성요소(절·방·도·산), 계층적 프로세스(단계-태스크-스텝), SDLC 4대 모델, 그리고 데이터 마이닝 3대 표준인 KDD, CRISP-DM, SEMMA의 단계별 핵심 원리를 정리했습니다.
각 방법론의 단계 순서와 상호 비교표를 눈에 익혀 두면 시험에서 안정적으로 점수를 확보할 수 있습니다. 다음 3편에서는 빅데이터 분석 방법론 5단계 프로세스의 상세 태스크와 산출물을 다룹니다.
