[Airflow] 기반의 데이터 파이프라인(2) - Airflow 설치 with Docker

Airflow를 처음 접하는 저는 Window 환경에서 설치가 안된다는 사실이 책에 없어 혹시 누군가가 설치를 진행하다 포기하는 일을 방지하기 위해 작성합니다.

Airflow 내부에 pwd 라이브러리등을 사용하기에 Window 환경에서 설치는 불가능 합니다.

 

또한 Docker가 PC에 설치되어 있어야 합니다.

---

1. docker-compose.yaml 다운로드

# 윈도우
wget -Uri https://airflow.apache.org/docs/apache-airflow/2.3.2/docker-compose.yaml -OutFile ./docker-compose.yaml

# 맥, 리눅스
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.2/docker-compose.yaml'

Airflow 프로젝트를 만들 위치로 가셨다면 운영체제에 맞게 명령어를 입력해 주시면 됩니다.

윈도우에는 curl을 추가로 설치해야 하기 때문에 wget 이용하여 다운받았습니다.

해당 url은 Airflow document에서 안내하는 docker-compose.yaml 파일입니다.

 

 

2. docker-compose.yaml 수정

  AIRFLOW__CORE__LOAD_EXAMPLES: 'false' # 기존 true를 변경하였습니다.
  AIRFLOW__CORE__DEFAULT_TIMEZONE: 'Asia/Seoul' # timezone을 변경하기 위해 추가하였습니다.

실제로는 더 많은 옵션들과 변경해야 하는 사항들이 있겠지만 실습하기 위한 환경이기 때문에 간단하게만 수정하였습니다.

 

docker-compose를 이용하여 Airflow를 열게 된다면 무수한 example DAG들이 들어있습니다.

한번씩 보면 DAG 작성에 도움은 되겠지만 지금은 실습하는데 방해가 되기 때문에 예제 DAG를 만들지 않고,

시간대를 Asia/Seoul로 변경만 하겠습니다.

 

 

3. docker-compose 실행

docker-compose up -d

-d 옵션은 백그라운드에서 동작할 수 있도록 해주는 옵션입니다.

 

 

4. 완료

Airflow 로그인 화면

브라우저에서 localhost:8080으로 들어가신다면 로그인 페이지가 나오며 Airflow를 실행하였습니다.