airflow-dag-patterns
Gotowe wzorce do budowania produkcyjnych potoków danych w Apache Airflow
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Umiejętność do tworzenia i zarządzania DAG-ami w Apache Airflow zgodnie z najlepszymi praktykami. Zawiera wzorce projektowania DAG-ów, konfigurację operatorów i sensorów, strategie testowania oraz wdrażania w środowisku produkcyjnym. Idealna do automatyzacji potoków ETL, orkiestracji zadań wsadowych i debugowania uruchomień DAG-ów. Poznaj zasady idempotentności, atomowości i obserwowności, które gwarantują niezawodność Twoich procesów.
Jak używać
Zainstaluj umiejętność w swoim środowisku agenta, dodając ścieżkę do repozytorium wshobson/agents w konfiguracji pluginów data-engineering.
Zdefiniuj podstawową strukturę DAG-a, tworząc plik w katalogu dags/ z importami datetime, DAG i operatorami (PythonOperator, EmptyOperator lub innymi dostępnymi w Airflow).
Skonfiguruj default_args z parametrami właściciela, liczby ponowień (retries), opóźnienia między próbami i alertów e-mail na wypadek awarii.
Zdefiniuj DAG z dag_id, harmonogramem (schedule), datą startu i opisem, a następnie dodaj zadania (tasks) jako instancje operatorów.
Ustal zależności między zadaniami, używając operatorów >> dla przepływu liniowego, fan-out (jedno zadanie prowadzące do wielu) lub fan-in (wiele zadań prowadzących do jednego).
Przetestuj DAG lokalnie przed wdrożeniem, sprawdzając poprawność składni, zależności i logiki każdego operatora, a następnie wdróż w produkcji z monitorowaniem logów i alertów.