huggingface-accelerate

Accelerate to biblioteka HuggingFace, która upraszcza rozproszone trenowanie sieci neuronowych. Wystarczy dodać 4 linie kodu do istniejącego skryptu PyTorch, aby włączyć obsługę wielu GPU, TPU lub węzłów. Obsługuje DeepSpeed, FSDP, Megatron i DDP za pomocą ujednoliconego interfejsu. Automatycznie zarządza umieszczaniem modelu na urządzeniach, mieszaną precyzją (FP16, BF16, FP8) i konfiguracją. Jeden polecenie uruchamiające — bez ręcznego konfigurowania parametrów rozproszonych.

1. Zainstaluj bibliotekę poleceniem pip install accelerate. Upewnij się, że masz zainstalowane PyTorch i transformers.

2. Otwórz swój istniejący skrypt treningowy PyTorch. Na początku dodaj import: from accelerate import Accelerator, a następnie utwórz instancję: accelerator = Accelerator().

3. Zastąp ręczne przenoszenie modelu na GPU linią model, optimizer, dataloader = accelerator.prepare(model, optimizer, dataloader). Ta funkcja automatycznie obsługuje umieszczanie na właściwych urządzeniach.

4. W pętli treningowej zmień loss.backward() na accelerator.backward(loss). To zapewnia prawidłową synchronizację gradientów w środowisku rozproszonym.

5. Uruchom skrypt poleceniem accelerate launch train.py. Accelerate automatycznie wykryje dostępne GPU i skonfiguruje rozproszone trenowanie bez dodatkowych parametrów.

6. Jeśli potrzebujesz dostosować konfigurację (liczba GPU, typ mieszanej precyzji), uruchom accelerate config przed pierwszym treningiem — narzędzie interaktywnie poprowadzi Cię przez ustawienia.