r2-glacier-migration

Umiejętność do nadzorowania transferu dużych zbiorów danych z Cloudflare R2 do AWS S3 Glacier Deep Archive. Pozwala sprawdzić status migracji, wznowić przerwane transfery i zarządzać archiwizacją. Idealna dla zespołów obsługujących masowe migracje danych — w przykładzie użytkownika oszczędza ~596 USD miesięcznie na kosztach przechowywania 42,6 TB danych.

1. Zaloguj się na serwer ninon przez SSH, gdzie wdrożony jest skrypt migracji. Upewnij się, że masz dostęp do katalogu ~/r2-glacier/ zawierającego skrypt transferu i plik z poświadczeniami.

2. Sprawdź bieżący status transferu, łącząc się z sesją screen: uruchom polecenie ssh -t ninon "screen -r r2-text", aby dołączyć do aktywnego procesu transferu. Jeśli proces nie działa, wyświetl ostatnie 50 linii logu poleceniem ssh ninon "tail -50 ~/r2-glacier/transfer-text.log", aby zdiagnozować problem.

3. Jeśli transfer został przerwany, wznów go za pomocą polecenia ssh ninon "screen -dmS r2-text bash -c '~/r2-glacier/run-text-transfer.sh; exec bash'". Skrypt automatycznie wczyta punkt kontrolny z pliku /tmp/r2-glacier-*-checkpoint.json i kontynuuje od ostatniej przetworzonej partii.

4. Monitoruj postęp transferu, sprawdzając plik punktu kontrolnego: ssh ninon "cat /tmp/r2-glacier-pollinations-text-checkpoint.json | jq .". Zawiera on informacje o liczbie już przeniesionych obiektów i bieżącym stanie migracji.

5. Dla testów lub małych zbiorów danych uruchom transfer z ograniczoną liczbą partii: ssh ninon "node r2-to-glacier-streaming.js -b pollinations-text --batch-size 100 --max-batches 1". Dla pełnego transferu użyj większych wartości batch-size (50000) i concurrency (30) dostosowanych do wydajności sieci.