ADsP(데이터분석 준전문가) 제1과목 ‘데이터의 이해’ 중 PART 2 데이터의 가치와 미래에서는 대규모 데이터를 체계적으로 다루기 위한 빅데이터 처리 기술 파이프라인과 핵심 도구들을 다룹니다.
빅데이터 환경에서는 데이터의 유입 속도가 빠르고 형태가 다양하므로, 데이터를 어떤 경로로 모으고(수집), 어디에 안전하게 담아두며(저장), 어떤 방식으로 나누어 계산하는지(처리·분석)에 대한 전체 기술 생태계를 이해하는 것이 중요합니다.
쏠티북스의 『선넘는 ADsP』 교재를 바탕으로, 비전공자도 직관적으로 이해할 수 있도록 공장의 자동화 원자재 컨베이어와 분산 조립 라인에 빗대어 빅데이터 처리 5단계 절차, 핵심 수집·저장 도구, 그리고 하둡(Hadoop)과 스파크(Spark)의 병렬 처리 구조를 차근차근 정리해 보겠습니다. 1과목 전체 학습 순서는 ADsP 1과목 독학 지도에서 확인할 수 있습니다.
1. 빅데이터 처리 기술 5단계 파이프라인: 원자재 흡입부터 완제품 모니터링까지
빅데이터는 현장에서 발생한 원천 데이터가 가공되어 최종 사용자에게 도달하기까지 총 5단계의 순차적 흐름을 거칩니다.
수집 → 저장 → 처리 → 분석 → 시각화 및 활용
이를 스마트 팩토리 제조 라인의 가공 단계에 비유하면 다음과 같이 대응할 수 있습니다.
- 1단계 수집 (Collection): 여러 공급망과 작업 라인에서 원자재를 무인 흡입 장치로 끌어모으는 단계
- 2단계 저장 (Storage): 모인 원자재를 규격 보관 선반(RDBMS)이나 대형 분산 컨테이너(HDFS, NoSQL)에 안전하게 적재하는 단계
- 3단계 처리 (Processing): 대규모 원자재를 가공하기 쉽도록 라인별로 분할하고 불순물을 걸러내는 단계
- 4단계 분석 (Analysis): 정밀 통계 알고리즘과 머신러닝 모델을 가동해 결함을 찾아내고 배합 비율을 계산하는 단계
- 5단계 시각화 및 활용 (Visualization & Application): 완성된 공정 지표와 품질 현황을 중앙 상황판 모니터에 띄워 의사결정에 반영하는 단계
2. 주요 데이터 수집(Collection) 기술
빅데이터 수집은 정형 데이터뿐만 아니라 웹 문서, 네트워크 패킷, 사물인터넷(IoT) 센서 등 다양한 채널에서 발생하는 원시 데이터를 그러모으는 과정입니다.
| 수집 기술 및 도구 | 학술적 정의 및 작동 방식 | 스마트 공장 수집 비유 |
|---|---|---|
| 크롤링 (Crawling) | 웹 로봇(Crawler)을 이용해 수많은 웹페이지 링크를 순회하며 자동으로 웹 문서 전체를 탐색·수집하는 기술 (Python BeautifulSoup, Scrapy 등) | 공급 시장 전역을 돌며 입고 가능한 부품 목록과 웹 문서 카탈로그를 자동 수집하는 무인 순찰 로봇 |
| 스크래핑 (Scraping) | 수집한 웹페이지의 HTML 문서 구조를 파싱(분석)하여 원하는 특정 데이터 항목만 추출하는 기술 | 수집한 납품 명세서 문서에서 부품 단가와 규격 항목만 정밀하게 오려내는 작업 |
| API 연동 (Application Programming Interface) | 데이터 제공 플랫폼이 정해둔 표준 규약에 맞춰 실시간 또는 주기적으로 데이터를 요청하고 전송받는 인터페이스 | 협력업체 전산망과 직접 전용 파이프라인을 뚫어 승인 데이터를 실시간으로 주고받는 통신 창구 |
| 스쿱 (Sqoop) | 관계형 데이터베이스(RDBMS)와 하둡(HDFS) 간에 대용량 데이터를 상호 전송해 주는 오픈소스 연계 도구 | 기존 표준 부품 보관 창고(RDBMS)와 대규모 분산 야적장(HDFS) 사이를 오가는 전용 고속 화물 트럭 |
| 센서 및 IoT 디바이스 | 설비, 스마트 기기 등에 부착되어 발생하는 실시간 스트리밍 데이터를 연속적으로 수집 | 24시간 가동되는 모터의 진동, 온도, 회전수를 1초 단위로 감지해 전송하는 현장 센서 |
| FTP (File Transfer Protocol) | 네트워크를 통해 대용량 완성형 파일들을 서버 간에 주기적으로 일괄 전송·다운로드하는 전통적인 파일 전송 규약 | 하루 일과가 끝난 후 작성된 정산 파일 묶음을 본사 중앙 서버로 정기 전송하는 배치 방식 |
3. 대용량 분산 저장 및 병렬 처리 프레임워크
대규모 빅데이터는 단일 서버의 하드웨어 스펙을 높이는 방식(Scale-Up)만으로는 감당하기 어렵기 때문에, 저렴한 일반 서버들을 네트워크로 묶어 하나처럼 동작시키는 분산 컴퓨팅(Scale-Out) 기술을 채택합니다.
(1) 아파치 하둡 (Apache Hadoop) 생태계
하둡은 대용량 데이터를 다수의 범용 서버(클러스터)에 분산 저장하고 병렬로 연산하는 대표적인 오픈소스 프레임워크입니다.
- HDFS (Hadoop Distributed File System): 대용량 파일을 일정한 블록 크기로 쪼개어 여러 서버에 분산하여 중복 저장하는 분산 파일 시스템입니다. 특정 서버가 고장 나더라도 복제본을 통해 데이터 손실을 방지합니다.
- 맵리듀스 (MapReduce): HDFS에 나뉘어 저장된 데이터를 각 서버에서 동시에 병렬 연산(Map)한 후, 그 결과값들을 하나로 취합·집계(Reduce)하는 프로그래밍 모델입니다. 하둡은 디스크 I/O 기반으로 동작합니다.
(2) 아파치 스파크 (Apache Spark)
하둡 맵리듀스가 매 연산마다 디스크에 중간 결과를 기록하느라 속도가 저하되던 점을 보완하기 위해 개발되었습니다. 데이터를 메모리(RAM)에 상주시켜 처리하는 인메모리(In-Memory) 기반 분산 처리 엔진으로, 하둡 대비 최대 100배 빠른 처리 속도를 구현하여 실시간 스트리밍 분석과 반복 머신러닝 연산에 널리 쓰입니다.
4. 빅데이터 기술 파이프라인을 이해하는 포인트
ADsP 시험을 준비할 때 수험생들이 혼동하기 쉬운 도구별 핵심 구별점입니다.
① FTP는 실시간 웹 데이터 수집 도구가 아닙니다
FTP(File Transfer Protocol)는 네트워크 서버 간에 완성된 데이터 파일을 주기적으로 내려받는 전통적 전송 방식입니다. “FTP는 웹에서 실시간으로 스트리밍 데이터를 수집하는 경량화 프로토콜이다”라는 지문은 대표적인 오답 함정입니다.
② 하둡(Hadoop)은 디스크 기반, 스파크(Spark)는 인메모리 기반입니다
하둡은 대용량 파일의 안정적인 보관과 일괄 배치 작업에 최적화된 디스크 기반 분산 시스템입니다. 반면 고속 반복 연산이나 실시간 분석을 지원하는 인메모리(In-Memory) 분산 엔진은 스파크(Spark)라는 점을 명확히 구분해야 합니다.
③ 스쿱(Sqoop)의 핵심 역할은 ‘RDBMS와 하둡의 상호 연결’입니다
`SQL-to-Hadoop`의 약자인 스쿱(Sqoop)은 기업의 기존 관계형 데이터베이스(Oracle, MySQL 등)에 저장된 정형 데이터를 하둡 HDFS로 퍼오거나 반대로 내보낼 때 사용하는 필수 연계 브릿지 도구입니다.
5. 시험에서는 이렇게 출제됩니다
- 수집 기술 도구 매칭
- “웹페이지를 자동 순회하며 문서를 탐색·수집하는 기술” → 크롤링(Crawling)
- “HTML 태그 구조를 분석하여 특정 데이터만 발췌하는 기술” → 스크래핑(Scraping)
- “RDBMS와 하둡 간에 대용량 데이터를 상호 이송하는 오픈소스 도구” → 스쿱(Sqoop)
- 하둡 프레임워크의 2대 축: 하둡의 분산 파일 저장소는 HDFS, 분산 병렬 연산 모델은 맵리듀스(MapReduce)라는 짝을 확인하는 문제가 단골로 출제됩니다.
- 스파크(Spark)의 메커니즘: 디스크 기반 분산 처리의 속도 한계를 극복하기 위한 ‘인메모리(In-Memory)’ 처리 기술이라는 키워드를 정확히 골라낼 수 있어야 합니다.
6. 옆 개념과의 연결
08편과 09편에서 정리한 빅데이터의 정의와 3V 패러다임이 이번 10편의 엔지니어링 기술(수집·저장·처리)을 통해 구체적인 인프라로 안착하는 과정을 확인했습니다.
이렇게 축적·가공된 빅데이터가 기업 경영과 사회 전반에 어떤 경제적 가치를 만들어내는지, 그리고 가치를 평가하는 3가지 접근법과 파급력은 다음 편인 11편 빅데이터 가치 산정과 사회적 영향에서 다룹니다.
자주 묻는 질문(FAQ)
Q1. 웹 크롤링(Crawling)과 웹 스크래핑(Scraping)은 구체적으로 어떻게 다른가요?
A. 크롤링은 웹 로봇이 수많은 웹페이지 링크를 타고 돌며 사이트 전체 문서를 ‘탐색하고 수집’하는 과정이며, 스크래핑은 그렇게 가져온 HTML 문서 내에서 필요한 특정 데이터 필드만 ‘추출’하는 작업입니다.
Q2. 하둡의 맵리듀스(MapReduce)와 스파크(Spark)의 가장 결정적인 차이는 무엇인가요?
A. 데이터를 읽고 쓰는 위치입니다. 하둡 맵리듀스는 하드디스크(Disk I/O)를 기반으로 작동하여 대용량 배치에 적합하고, 스파크는 메모리(RAM)에 데이터를 올려두고 처리하는 인메모리 방식을 채택해 반복 연산과 실시간 처리에 훨씬 빠릅니다.
Q3. 스쿱(Sqoop)은 어떤 환경에서 주로 사용되나요?
A. 기업의 기존 운영 DB(RDBMS)에 누적된 고객 거래 데이터를 하둡(HDFS)으로 넘겨 대규모 분석을 수행하거나, 하둡에서 분석된 최종 결과를 다시 사내 RDBMS로 전송할 때 사용됩니다.
마무리
10편에서는 스마트 공장의 원자재 컨베이어와 분산 조립 라인 비유를 통해 빅데이터 처리 5단계 파이프라인(수집·저장·처리·분석·시각화), 핵심 수집 기술(크롤링, 스크래핑, API, FTP, Sqoop), 그리고 분산 컴퓨팅의 양대 축인 하둡(HDFS·MapReduce)과 스파크(Spark)의 구조를 정리했습니다.
다음 11편에서는 데이터의 가격을 산정하는 원리와 사회적 파급 효과를 다루는 빅데이터 가치 산정과 사회적 영향으로 이어가겠습니다.
