Airflow

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow concepts (주요 용어)

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow Operator 종류

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow XCOM 예제

2022.09.06 - [분류 전체보기] - Airflow Variable 사용법

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow connection 예제

Airflow란?

커뮤니티에서 프로그래밍 방식으로 워크플로우를 작성하고 예약 및 모니터링하기 위해 탄생한 플랫폼이다.

Airflow 를사용하여 작업의DAG(방향상 비순환 그래프) 로 워크플로를 작성한다. Airflow 스케줄러는 지정된 종속성을 따르는동안 작업자가 배열에서 작업을 실행한다. 풍부한명령줄 유틸리티를 사용하면 DAG 에서 복잡한 작업을 간편하게 수행할 수 있다.

풍부한 사용자 인터페이스를 통해 프로덕션에서 실행 중인 파이프라인을 시각화하고 진행상황을 모티터링하며 필요할때 문제를 해결 할 수 있다.

Airflow Architecture

Airflow는 워크플로를 구축하고 실행할수있는 플랫폼입니다. 워크플로는 DAG(Directed Acyclic Graph)로 표시되며, 종속성과 데이터 흐름을 고려하여 정렬된 작업이라는 개별 작업을 포함합니다.

DAG는 작업간의 종속성을 지정한다 실행한다. 그리고 그것들을 실행하고 재시도를 실행하는 순서를 지정한다. 작업 자체는 데이터 가져오기, 분석실행, 다른시스템으로 트리거등 수행할 작업을 설명한다.

Airflow 설치 구성요소

• shchduler - 예약된 워크플로를 트리거하고 실행할 작업을 실행자에게 제출하는 역활
• executor - 실행중인 작업을 처리하는 역할
• workers - Airflow 의 작업을 실행하는 공간
• DAG directory - Airflow 에서 실행할 파일을 관리하는 공간
• web server - DAG 및 작업의 동작을 검사하고 트리거 및 디버그 할 수 있는 편리한 사용자 인터페이스
• Metadata Database - 스케줄러 및 실행하고 있는 것들에 대한 메타데이터를 저장하기 위한 데이터베이스