pytorch-lightning

PyTorch Lightning to wysokopoziomowy framework, który organizuje kod treningowy i eliminuje powtarzalny kod. Automatycznie obsługuje rozproszone trenowanie (DDP, FSDP, DeepSpeed), przełączanie między GPU/TPU/CPU, mieszaną precyzję i wiele innych. Trenuj ten sam kod na laptopie lub klastrze bez zmian. Idealny, gdy chcesz czyste pętle treningowe z wbudowanymi dobrymi praktykami.

1. Zainstaluj bibliotekę poleceniem pip install lightning. Upewnij się, że masz zainstalowane PyTorch i transformers.

2. Zdefiniuj swój model jako klasę dziedziczącą z L.LightningModule. W konstruktorze utwórz architekturę sieci neuronowej (np. sekwencję warstw liniowych). Zaimplementuj metodę training_step, która przyjmuje batch danych, oblicza predykcję, stratę i loguje wyniki za pomocą self.log(). Dodaj metodę configure_optimizers, która zwraca optymalizator (np. Adam).

3. Przygotuj dane treningowe, opakowując je w DataLoader z odpowiednim rozmiarem batcha (np. 32).

4. Utwórz instancję L.Trainer, określając liczbę epok (max_epochs), typ akceleratora (accelerator='gpu') i liczbę urządzeń (devices=2). Trainer automatycznie obsługuje rozproszone trenowanie i optymalizacje.

5. Wywołaj trainer.fit(model, train_loader), przekazując instancję modelu i dataloader. Trainer zajmie się całym procesem treningowym, logowaniem do TensorBoard i zarządzaniem zasobami GPU/TPU.

6. Monitoruj postęp trenowania w TensorBoard lub w logach konsoli. Możesz dodać callback'i do Trainera, aby dostosować zachowanie (np. early stopping, checkpoint'owanie).