1. Data Engineering과 Apache Airflow

알아볼 내용

• Airflow란?
• Workflow Orchestration?
• 기존 cron 방식의 한계?
• UI, 모니터링, 병렬처리 등 Airflow의 핵심 장점

---

1. Data Engineering이란 무엇이며, 왜 중요한가?

현대 기업이나 기관은 매일 방대한 데이터를 다룬다.
이 데이터를 잘 조직화하지 않으면 단순히 저장만 되는 ‘죽은 데이터’에 불과하다.  

예를 들어 스트리밍 서비스를 떠올려 보자.  

• 사용자가 영상을 시청하거나 음악을 재생할 때마다 로그 데이터가 발생  
• 추천 시스템은 이 데이터를 모아 사용자 맞춤형 콘텐츠 추천을 생성  
• 동시에 결제 데이터와 연결해 매출·구독 통계를 집계  
• 이런 결과는 대시보드로 시각화되어 경영진과 운영팀의 실시간 의사결정에 활용된다  

이 흐름은 단일 작업으로 끝나지 않고, “로그 수집 → 정제 → 집계 → 추천 모델 업데이트 → 시각화” 처럼 여러 단계가 연결된 데이터 파이프라인으로 구성된다.  

이처럼 데이터 엔지니어링은 기업 내외부에서 발생하는 대량의 원천 데이터를 수집하고 가공·정제하여 분석 가능한 형태로 변환하는 기술 및 프로세스를 말한다
오늘날 다양한 분야에서 데이터가 핵심 자산으로 활용되면서 데이터 엔지니어링의 중요성이 점차 커지고 있다
단순히 데이터를 저장하는 것을 넘어, 실시간 데이터 처리, 데이터 파이프라인의 자동화, 여러 소스 간의 데이터 연동 등을 통해 데이터를 신뢰성 있게 활용할 기반을 구축하는 것이 데이터 엔지니어링의 핵심 역할이다

데이터 엔지니어링의 주요 작업에는 ETL 파이프라인의 설계·구축·자동화·유지보수가 포함된다
예를 들어, 다양한 운영 시스템과 로그에서 데이터를 추출하고, 정제 및 변환 과정을 거쳐 일관성 있는 형태로 적재하는 과정을 체계화한다

이를 통해 데이터 웨어하우스나 데이터 레이크를 구축하고, 조직 전반의 데이터 분석과 시각화, 머신러닝 모델링에 활용할 수 있도록 데이터의 품질과 일관성을 보장한다
이러한 인프라는 데이터 사이언티스트와 분석가들이 신뢰할 수 있는 데이터를 기반으로 정확한 분석과 예측을 수행할 수 있게 함으로써, 궁극적으로 비즈니스 의사결정에 기여하는 역할을 하게 된다

요약하면, 데이터 엔지니어링은 방대한 원천 데이터를 유의미한 정보로 바꾸는 모든 과정을 포괄하며, 복잡한 데이터 환경에서 데이터 파이프라인의 설계와 자동화를 통해 데이터 품질 관리, 실시간 처리, 시스템 간 통합 등의 문제를 해결하는 분야이다

---

2. Airflow란?

Airflow의 필요성

초창기에는 파이프라인을 단순히 cron 스케줄러 + 스크립트로 처리했지만 데이터 규모가 커지고 복잡해지면서 한계가 드러났다

• 의존성 관리 부재: 어떤 작업이 끝나야 다음이 실행되는지 표현 어려움  
• 장애 처리 부족: 한 번 실패하면 전체 파이프라인이 중단  
• 모니터링 한계: 실행 여부 외에는 상태 추적이 어려움  
• 확장성 제약: 여러 서버에서 수백~수천 개 작업을 병렬로 처리하기 어려움  

이러한 문제를 해결하기 위해 등장한 것이 Workflow Orchestration 도구이고 그중 대표적인 것이 바로 Apache Airflow다.  

Airflow란?

Apache Airflow는 워크플로우(작업 흐름)를 코드로 작성하여 관리하고 스케줄링할 수 있는 오픈 소스 플랫폼으로 일련의 작업들을 DAG(Directed Acyclic Graph, 방향성 비순환 그래프) 형태로 정의하고, 정의된 워크플로우를 정해진 일정에 따라 자동으로 실행하며, 실행 상태를 모니터링해주는 도구이다 Airflow에서는 모든 워크플로우를 파이썬으로 코드로 작성하기 때문에, 복잡한 작업 흐름도 프로그램 코드로 유연하게 정의하고 제어할 수 있다는 점이 특징이다

Airflow는 데이터 엔지니어링 분야에서 특히 각광받는 도구로, 다양한 시스템에 걸친 작업들을 orchestration하는 역할을 한다

Airflow 자체가 데이터를 처리하거나 저장하지는 않지만, 사용자가 정의한 일정과 의존 관계에 따라 외부 시스템에서 실행되는 작업들을 연결하고 제어 한다
예를 들어 Spark나 Hadoop에서 대량 데이터를 처리하고, 그 결과를 데이터베이스에 적재하는 일련의 과정을 Airflow를 사용해서 각 단계를 태스크로 정의하고 DAG로 엮어 한꺼번에 관리할 수 있다

Airflow의 스케줄러는 지정된 시간이나 조건에 따라 태스크들을 자동으로 실행하고, 사전 정의된 의존성을 고려하여 올바른 순서로 작업이 이루어지도록 보장한다 또한 Airflow는 metadata DB, Scheduler, Executor, 웹 서버(UI) 등의 컴포넌트로 구성되어 작동하며, 이를 통해 다수의 작업을 안정적으로 스케줄링하고 관리할 수 있는 분산 아키텍처를 제공한다

Airflow의 장점

• 직관적 DAG 관리: 의존성을 코드와 그래프로 동시에 표현  
• 웹 UI 제공: 실행 상태, 로그, 그래프를 한눈에 확인 가능  
• 에러 핸들링: 실패 시 자동 재시도 및 알림 연동 (Slack, Email 등)  
• 확장성: Celery, KubernetesExecutor 등으로 대규모 분산 실행 지원  
• 코드 기반 관리: 모든 파이프라인을 Python으로 작성 → 버전 관리 용이