senior-data-engineer
Umiejętność seniora inżyniera danych – projektuj skalowalne potoki danych i infrastrukturę
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Zaawansowana umiejętność do budowania produkcyjnych systemów przetwarzania danych. Obejmuje projektowanie architektur danych, orchestrację potoków ETL/ELT, walidację jakości danych i praktyki DataOps. Wspiera pracę z Python, SQL, Spark, Airflow, dbt i Kafka. Użyj jej do optymalizacji przepływów danych, implementacji governance oraz skalowania infrastruktury analitycznej.
Jak używać
Sklonuj repozytorium z umiejętnością ze ścieżki cli-tool/components/skills/development/senior-data-engineer i zintegruuj ją ze swoim projektem Claude/Copilot.
Przygotuj katalog z danymi wejściowymi oraz plik konfiguracyjny (config.yaml) zawierający parametry Twojego potoku danych – schemat bazy, źródła danych, cele transformacji.
Uruchom orchestrator potoków poleceniem python scripts/pipeline_orchestrator.py --input data/ --output results/, aby zdefiniować i zaplanować sekwencję zadań ETL/ELT.
Waliduj jakość danych za pomocą python scripts/data_quality_validator.py --target project/ --analyze, aby sprawdzić poprawność transformacji i zidentyfikować anomalie.
Optymalizuj wydajność potoków poleceniem python scripts/etl_performance_optimizer.py --config config.yaml --deploy, aby wdrożyć zoptymalizowaną konfigurację w środowisku produkcyjnym.
Konsultuj umiejętność w kwestiach projektowania architektur danych, wyboru narzędzi z modern data stack (Spark, Airflow, dbt, Kafka) oraz implementacji praktyk DataOps i governance.