Czym jest zatem jest Airflow? W skrócie jest to nic innego jak orkiestrator z interfejsem graficznym.
Składa się on z deklaracji zmiennych, kodu zawierającego całą zaprojektowaną logikę umieszczoną w DAG a na końcu odnajdziemy operatory pozwalające na uruchomienie poszczególnych części kodu czy poleceń. Całość wieńczy nam prosta ścieżka przepływu. W skrócie DAG to potok danych, zaś Operator to zadanie. Kolejny jest Executor, który definiuje sposób wykonywania zadań, podczas gdy worker jest procesem wykonującym wskazane zadanie. Jeśli zadanie nie powiedzie się, sprawdź dzienniki, klikając zadanie w interfejsie użytkownika i „Dzienniki”.
Jednym z ważniejszych aspektów o których należy pamiętać jest to, że Airflow jest orkiestratorem, a nie strukturą przetwarzania, zarządzamy w nim zadaniami i ustalamy ich harmonogram. Dlatego też zalecane jest by przetwarzać duże ilości danych poza nim np. poprzez klaster Spark.
Kolejną rzeczą o której warto wiedzieć jest widok Gantta – bardzo przydatny w przypadku wąskich gardeł i zadań, których wykonanie trwa zbyt długo.
Pierwsze kroki zaczniemy od instalacji i konfiguracji:
$ cd /opt/airflow/
$ virtualenv -p which python3 venv
$ source venv/bin/activate
(venv) $ pip install airflow==2.4.3
(venv) $ mkdir /opt/airflow/airflow_home
(venv) $ export AIRFLOW_HOME=/opt/airflow/airflow_home
Polecam również zapoznać się z instalacją z wykorzystaniem Dockera dostępną w dokumentacji: https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html
Przejdźmy zatem do dalszego etapu, czyli uruchomienia samej usługi. Pośród wszystkich możliwych komend to właśnie airflow db init jest pierwszym poleceniem, które należy wykonać, aby zainicjować Airflow.
Następnie wykonujemy polecenie airflow webserver, które uruchomi nam instancję Airflow.
<sekcja rozruchowa w budowie>
