vastai-data-handling

Skill do bezpiecznego transferu danych, szyfrowania i zarządzania punktami kontrolnymi na wynajętych instancjach Vast.ai. Obsługuje transfer małych i dużych zbiorów danych, szyfrowanie AES-256 przed przesłaniem oraz integrację z magazynami chmury (S3, GCS). Idealny dla zespołów trenujących modele na sprzęcie trzecich stron, gdzie bezpieczeństwo danych i czystość instancji są kluczowe. Wymaga dostępu SSH do instancji Vast.ai i konfiguracji magazynu chmury.

1. Upewnij się, że masz aktywną instancję Vast.ai z włączonym dostępem SSH oraz dostęp do magazynu chmury (S3 lub GCS). Skill wymaga narzędzi: scp, ssh, openssl i aws-cli (jeśli używasz S3).

2. Dla małych zbiorów danych (poniżej 5 GB) użyj bezpośredniego transferu SCP: podaj ścieżkę lokalną, adres hosta, port SSH i ścieżkę docelową na instancji. Skill automatycznie skopiuje pliki do folderu roboczego.

3. W przypadku większych zbiorów (5–50 GB) włącz kompresję: skill spakuje dane w archiwum tar.gz, przesyła przez SSH i rozpakuje na instancji, zmniejszając czas transferu.

4. Dla bardzo dużych zbiorów (powyżej 50 GB) najpierw wgraj dane do S3 lub GCS, a następnie skill pobierze je bezpośrednio na instancję za pomocą aws s3 sync lub gsutil, omijając połączenie lokalne.

5. Aby zabezpieczyć wrażliwe dane, włącz szyfrowanie: skill zaszyfruje pliki szyfrem AES-256 z PBKDF2 przed transferem, a następnie przesyła zaszyfrowany plik na instancję. Podaj hasło, które będzie używane do szyfrowania.

6. Po zakończeniu pracy wyczyść instancję: skill usunie dane treningowe i artefakty z wynajętego sprzętu, aby uniknąć pozostawienia wrażliwych informacji na serwerach trzecich stron.