Auto Build(CI SCM GIT)/Airflow7 Airflow concepts (주요 용어) Airflow concepts (주요 용어) Concepts DAG(direct Acyclic Graph) 방향성 비순항 그래프. DAG에 연결된 화살표 방향 순서대로 작업이 실행되고, 분기실행과 병렬 실행이 가능하다. https://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html# TASK 하나의 작업단위를 Task 라 부른다. 여러개의 TASK 가 합쳐저 DAG를 구성한다. Task 간에는 기호를 사용하여 순서를 지정하는 것이 가능하다 Task는 밑에 설명할 Operator 들로 구성할수 있으며, Python Code 를 실행 시킬수 있는 PythonOperator와 Bash 를 실행할수있는 BashOperator, HTTP 요청을 .. 2022. 9. 6. Airflow 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow concepts (주요 용어) 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow Operator 종류 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow XCOM 예제 2022.09.06 - [분류 전체보기] - Airflow Variable 사용법 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow connection 예제 Airflow란? 커뮤니티에서 프로그래밍 방식으로 워크플로우를 작성하고 예약 및 모니터링하기 위해 탄생한 플랫.. 2022. 9. 6. airflow example DAG 생성 및 BashOperator 예제 (test.py) from datetime import timedelta from textwrap import dedent # The DAG object; we'll need this to instantiate a DAG from airflow import DAG # Operators; we need this to operate! from airflow.operators.bash import BashOperator from airflow.utils.dates import days_ago # These args will get passed on to each operator # You can override them on a per-task basis durin.. 2022. 8. 23. 이전 1 2 다음 728x90
