IT.FARMER

Airflow concepts (주요 용어) Concepts DAG(direct Acyclic Graph) 방향성 비순항 그래프. DAG에 연결된 화살표 방향 순서대로 작업이 실행되고, 분기실행과 병렬 실행이 가능하다. https://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html# TASK 하나의 작업단위를 Task 라 부른다. 여러개의 TASK 가 합쳐저 DAG를 구성한다. Task 간에는 기호를 사용하여 순서를 지정하는 것이 가능하다 Task는 밑에 설명할 Operator 들로 구성할수 있으며, Python Code 를 실행 시킬수 있는 PythonOperator와 Bash 를 실행할수있는 BashOperator, HTTP 요청을 ..

2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow concepts (주요 용어) 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow Operator 종류 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow XCOM 예제 2022.09.06 - [분류 전체보기] - Airflow Variable 사용법 2022.09.06 - [Auto Build(CI SCM GIT)] - Airflow connection 예제 Airflow란? 커뮤니티에서 프로그래밍 방식으로 워크플로우를 작성하고 예약 및 모니터링하기 위해 탄생한 플랫..

DAG 생성 및 BashOperator 예제 (test.py) from datetime import timedelta from textwrap import dedent # The DAG object; we'll need this to instantiate a DAG from airflow import DAG # Operators; we need this to operate! from airflow.operators.bash import BashOperator from airflow.utils.dates import days_ago # These args will get passed on to each operator # You can override them on a per-task basis durin..

centos gradle 설치 gradle 4.9 이상 버전에서 Lombok 오류 발생 4.8 이하로 다운 그레이드 필요. Spring boot , querydsl , lombock 등 각 모듈 버전에 따라 맞는 버전이 있음으로 각자의 버전에 맞게 설치. 3.1 Gradle 다운 로드 > wget https://services.gradle.org/distributions/gradle-4.8.1-bin.zip > sudo mkdir /opt/gradle > sudo unzip -d /opt/gradle gradle-4.8.1-bin.zip > ls /opt/gradle/gradle-4.8.1 3.3. 환경 설정 추가 > vim /etc/environment or vim /etc/profile export ..

---------------------------------------------------------------------------------깃 Bare Hock 사용법 git --bare initgit remote add {원하는Git서버명} ssh://{USER}@{IP}:{PORT}/{PATH}git --work-tree=/var/www/manager2 --git-dir=/home/mycup/git/test checkout -fgit remote add remotedev ssh://root@192.168.10.1:7777/ --------------------------------------------------------------------------------깃 리모트 브렌치 체크아웃 사용..

빈폴더에 .keep 텍스트 파일을 만들어 관리 한다. touch .keep 모든 폴더를 검사해서 .keep 파일 생성. git clean -nd | sed s/'^Would remove '// | xargs -I{} touch "{}.keep" Log 폴더 관리 log 폴더와 같이 정말 빈 디렉토리만 존재하고 내부에 생성되는 파일은 Tracking할 필요가 없을 때는 .gitignore 파일을 만들어 사용한다. #ignore all files in this dir...*#... except for this one.!.gitignore

1. 플러그인 설정 - Build Pipeline Plugin 쉽게 말하면 Job들 간에 관계를 제공합니다. Job 간의 순서와 트리거 기능을 제공합니다. - dashboard-view Build Pipeline Plugin에 종속성을 가지고 있는 플러그인으로 연관 관계가 있는 Job들 간의 Dashboard를 제공합니다. - Slicing Plugin 빌드 히스토리 관리 (오래된 히스토리 폐기 https://wiki.jenkins.io/display/JENKINS/Discard+Old+Build+plugin ) - Deploy to container - publish over ssh (SSH Publishers plugin) 배포 플러그인 - embeddable-build-status git lab 에..

기본 구조 특징1. 분산 개발 2. 강력한 선형 개발 지원 3. 대형 프로젝트에 합리적임 4. 암호회된 인증 히스토리 5. 손쉬운 스크립팅 도구 제공 Each file in the Working Directory can be in one of two states: Tracked or Untracked. All files in the Working Directory that were neither in the last snapshot nor in the Staging Area are Untracked files. Tracked files are files that were in the last snapshot; The Tracked files (e.g. Git controlled files) in turn..

gethub Sitehttps://github.com/mycup/ help githubhttp://help.github.com/ .installation Set up Git -ssh 인증키 생성 및 이것저것.. -듀토리얼 따라하면 다 할수 있음. .create Repository 여기 까지만 설정. .Fork (cloen) a Repo : 타 사용자의 Project cloen / fork 와 colen 은 다소 차이가 있음. .Besoial : ? 일반 개념 정의 *Local Repository - subVersion (SVN) 혹은 CVS라고 생각하고 사용한다면 혼란이 올수 있음. - 따로 설치하거나 구동하지 않음, 단지 자신의 OS에 git이 설치되어있고, Clone로 프로젝트를 다운 받았다면 파일이..