pufferlib

PufferLib to biblioteka do uczenia wzmacniającego zoptymalizowana pod kątem szybkości i skali. Osiąga przyspieszenie 2–10x w porównaniu ze standardowymi implementacjami dzięki wektoryzacji, natywnej obsłudze wieloagentowej i wydajnemu algorytmowi PPO. Trenuj agentów na środowiskach Gymnasium, PettingZoo, Atari, Procgen i NetHack. Idealna do eksperymentów wymagających równoległego trenowania na milionach kroków na sekundę.

1. Zainstaluj PufferLib za pomocą pip, a następnie zaimportuj bibliotekę oraz moduł PuffeRL w swoim skrypcie Pythona. 2. Przygotuj środowisko treningowe — możesz użyć istniejącego ze zbiorów Gymnasium, PettingZoo lub Procgen, albo zdefiniować własne, korzystając z API PufferEnv. 3. Skonfiguruj parametry treningu, takie jak urządzenie (CPU/GPU), współczynnik uczenia i architekturę sieci (CNN, LSTM lub niestandardowa). 4. Uruchom trening z linii poleceń poleceniem puffer train z nazwą środowiska i parametrami, na przykład puffer train procgen-coinrun --train.device cuda --train.learning-rate 3e-4. 5. Dla treningu rozproszonego na wielu GPU użyj torchrun z parametrem --nproc_per_node, aby przyspieszyć eksperymentację na dużych zbiorach danych. 6. Monitoruj postęp treningu i dostosowuj hiperparametry w zależności od osiąganych wyników.