databricks-data-handling

Skill do implementacji wzorców zarządzania danymi w Databricks, obejmujący compliance GDPR, maskowanie danych osobowych (PII) i automatyczne usuwanie danych. Wykorzystaj Unity Catalog do klasyfikacji tabel i kolumn, definiowania okresów przechowywania, maskowania wrażliwych informacji oraz obsługi wniosków o usunięcie danych użytkownika. Idealny dla zespołów zajmujących się bezpieczeństwem danych i compliance w środowiskach Delta Lake.

1. Upewnij się, że masz włączony Unity Catalog w swoim Databricks workspace oraz dostęp administratora do tagów i funkcji maskowania. Skill wymaga zrozumienia wymogów klasyfikacji danych (GDPR, CCPA, HIPAA).

2. Zaklasyfikuj tabele i kolumny za pomocą tagów Unity Catalog. Dodaj tagi do tabel wskazujące typ danych (PII, CONFIDENTIAL, INTERNAL) i liczbę dni przechowywania. Następnie oznacz poszczególne kolumny zawierające dane osobowe tagami określającymi typ PII (email, phone, name).

3. Skonfiguruj funkcje maskowania dla kolumn zawierających dane wrażliwe. Skill pomaga zdefiniować reguły maskowania na poziomie kolumn, które automatycznie ukrywają lub anonimizują dane osobowe dla użytkowników bez odpowiednich uprawnień.

4. Wdróż workflow obsługi wniosków GDPR (prawo do usunięcia). Skill zawiera wzorce do identyfikacji i usunięcia wszystkich danych związanych z konkretnym użytkownikiem na podstawie tagów klasyfikacyjnych.

5. Ustaw automatyczne egzekwowanie polityki przechowywania danych. Skonfiguruj procesy, które automatycznie usuwają dane po upływie okresu przechowywania określonego w tagach tabel.

6. Generuj raporty dostępu do danych (SAR - Subject Access Request) dla użytkowników. Skill wspiera tworzenie raportów pokazujących, jakie dane osobowe są przechowywane dla konkretnego podmiotu.