Airflow Variable 사용법

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow concepts (주요 용어)

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow Operator 종류

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow XCOM 예제

2022.09.06 - [분류 전체보기] - Airflow Variable 사용법

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow connection 예제

 

Variable

변수는 Airflow 의 런타임 구성 개념입니다. 즉, 전역적이며 작업에서 쿼리할 수 있고, Airflow의 사용자 인터페이스를 통해 쉽게 설정하거나 JSON 파일로 대량 업로드할 수 있는 일반 키/값 저장소 입니다.

이것을 사용 하려면 변수모델을 가져오고 호출하기만 하면 된다.

예제

export AIRFLOW_VAR_FOO=BAR

# To use JSON, store them as JSON strings
export AIRFLOW_VAR_FOO_BAZ='{"hello":"world"}'

Dag에서 다음과 같이 사용가능 하다.

from airflow.models import Variable

# Normal call style
foo = Variable.get("foo")

# Auto-deserializes a JSON value
bar = Variable.get("bar", deserialize_json=True)

# Returns the value of default_var (None) if the variable is not set
baz = Variable.get("baz", default_var=None)

변수는 Airflow 내에서 간단한 키-값 저장소로 임의의 콘텐츠를 설정하고 또는 저장하고 검색하는 일반적인 방법이다. 변수는 UI 또는 CLI 에서 나열하거나, 생성, 업데이트 및 삭제 할수있다.

UI (Admin -> Variables)

 

Managing Variables - Airflow Documentation

Managing Variables — Airflow Documentation