databricks-performance-tuning

Skill do optymalizacji wydajności klastrów Databricks i zapytań Delta Lake. Automatycznie analizuje konfiguracje Spark, dobiera rozmiar instancji do typu obciążenia (ETL, ML, streaming) i rekomenduje strategie cachowania oraz indeksowania. Używaj gdy zadania działają wolno, potrzebujesz dostroić parametry Spark lub poprawić wydajność zapytań na dużych tabelach. Wymaga dostępu do konfiguracji klastra i historii zapytań.

1. Zainstaluj skill w swoim środowisku Claude Code, Codex lub OpenClaw, upewniając się że masz dostęp do narzędzi Read, Write, Edit i Bash z uprawnieniami databricks:*. 2. Zidentyfikuj typ swojego obciążenia (ETL batch, ML training, streaming lub interactive queries) oraz przybliżony rozmiar danych w GB, które przetwarzasz. 3. Wyzwól skill frazą zawierającą słowa kluczowe takie jak "databricks performance", "spark tuning", "databricks slow" lub "optimize databricks". 4. Skill przeanalizuje Twoją konfigurację klastra i zaproponuje odpowiedni typ instancji (compute-optimized dla ETL, memory-optimized dla ML, storage-optimized dla dużych shuffle'i) oraz liczbę workerów. 5. Zastosuj rekomendacje dotyczące Adaptive Query Execution (AQE), Liquid Clustering lub Z-ordering dla tabel Delta Lake, a także uruchom operacje OPTIMIZE i VACUUM na tabelach. 6. Przeanalizuj plany zapytań dla wolnych operacji i wdrażaj strategie cachowania danych, które są wielokrotnie odczytywane, aby zmniejszyć czas wykonania.