Toolverse
Wszystkie skille

databricks-observability

autor: jeremylongshore

Monitoruj zadania, koszty i wydajność Databricks w czasie rzeczywistym

Instalacja

Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.

Instalacja

Szybkie info

Kategoria
DevOps
Wyświetlenia
4

O skillu

Skill do konfiguracji kompleksowej obserwacji Databricks. Monitoruj stan zadań, wykorzystanie klastrów, wydajność zapytań i koszty DBU za pomocą tabel systemowych i SDK Databricks. Skonfiguruj dashboardy, alerty na zdarzenia w pipeline'ach i śledzenie metryk. Idealny dla inżynierów danych zarządzających produkcyjnymi środowiskami Databricks, którzy potrzebują wglądu w wydajność i koszty operacyjne.

Jak używać

  1. Upewnij się, że masz dostęp do Databricks Premium lub Enterprise z włączonym Unity Catalog. Skill wymaga dostępu do katalogów systemowych: system.billing, system.compute i system.access.

  2. Przygotuj SQL warehouse lub klaster do uruchamiania zapytań monitorujących. Skill będzie używać tych zasobów do pobierania danych obserwacyjnych.

  3. Wyzwól skill frazami zawierającymi słowa kluczowe takie jak "databricks monitoring", "databricks metrics", "databricks observability", "monitor databricks", "databricks alerts" lub "databricks logging".

  4. Skorzystaj z gotowych zapytań SQL do monitorowania zdań — skill dostarcza szablony do identyfikacji nieudanych zadań z ostatnich 24 godzin, w tym czasu trwania i komunikatów błędów.

  5. Śledź zużycie DBU i koszty operacyjne za pomocą zapytań do tabel system.billing.usage. Skill umożliwia agregację danych po klastrach i SKU za wybrany okres.

  6. Zintegruj wyniki z dashboardami i systemami alertów — skill obsługuje operacje Read, Write i Edit, co pozwala na automatyzację tworzenia reguł alertów na podstawie metryk zdrowia pipeline'ów.

Podobne skille