Airflow란?

커뮤니티에서 프로그래밍 방식으로 워크플로우를 작성하고 예약 및 모니터링하기 위해 탄생한 플랫폼이다.

Airflow 를사용하여 작업의DAG(방향상 비순환 그래프) 로 워크플로를 작성한다. Airflow 스케줄러는 지정된 종속성을 따르는동안 작업자가 배열에서 작업을 실행한다. 풍부한명령줄 유틸리티를 사용하면 DAG 에서 복잡한 작업을 간편하게 수행할 수 있다.

풍부한 사용자 인터페이스를 통해 프로덕션에서 실행 중인 파이프라인을 시각화하고 진행상황을 모티터링하며 필요할때 문제를 해결 할 수 있다.

Airflow Architecture

Airflow는 워크플로를 구축하고 실행할수있는 플랫폼입니다. 워크플로는 DAG(Directed Acyclic Graph)로 표시되며, 종속성과 데이터 흐름을 고려하여 정렬된 작업이라는 개별 작업을 포함합니다.

DAG는 작업간의 종속성을 지정한다 실행한다. 그리고 그것들을 실행하고 재시도를 실행하는 순서를 지정한다. 작업 자체는 데이터 가져오기, 분석실행, 다른시스템으로 트리거등 수행할 작업을 설명한다.

Airflow 설치 구성요소