Airflow connection 예제

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow concepts (주요 용어)

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow Operator 종류

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow XCOM 예제

2022.09.06 - [분류 전체보기] - Airflow Variable 사용법

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow connection 예제

 

Connection

Airflow는 종종 데이터를 다른 시스템으로 가져오고 보내는데 사용됨으로 외부 시스템과 통신되는데 커넥션은 사용되는 자격증명을 저장하기 위한 연결개념입니다.

연결은 기본적으로 사용자 이름및 암호, 호스트이름과 같은 매개변수 세트와 연결하는 시스템 유형 및 conn_id 라는 고유한 이름입니다.

UI, 또는 CLI 를 통해 관리가 가능 합니다.

자신의 코드에서 직접 Connections를 사용할 수 있습니다. Hooks 를 통해 사용하거나 템플릿에서도 사용할 수 있다.

echo {{ conn.<conn_id>.host }}

Admin->Connections 을 UI 에서 선택하고 Create 링크를 클릭하면 새로운 connection을 생성할 수 있다.

ConnType 을 mysql 외에도 다른 여러가지가 가능하다.

예를들어 HTTP 를 SimpleHttpOperator 을 사용할경우 다음과 같이 Connection을 등록 하고 사용 할 수있다.

• connection Id : LOCAL_SERVICE
• host : 127.0.0.1:8081
•  

다음과 같이 등록한뒤 SimpleHttpOperator 에 http_conn_id 를 사용하여 Connection에 등록된 값을 사용할 수있다.

# Http 호출 SimpleHttpOperater
init_log = SimpleHttpOperator(
    task_id='init_log',
    method='GET',
    #endpoint='/weather/Dallas',
    http_conn_id = 'LOCAL_SERVICE',
    endpoint='/campaign/test/api-1',
    headers={},
    dag=dag,
)