axolotl

Umiejętna pomoc przy dostrajaniu dużych modeli językowych za pomocą Axolotla. Skill oferuje wsparcie dla konfiguracji YAML, ponad 100 modeli, technik LoRA/QLoRA oraz zaawansowanych metod optymalizacji (DPO, KTO, ORPO, GRPO). Znajdziesz tu praktyczne wzorce dla rozproszonych obliczeń (FSDP), debugowania wydajności sieci (NCCL Tests) i kompresji modeli. Idealne dla badaczy i inżynierów pracujących z transformerami na GPU.

1. Zainstaluj wymagane zależności: axolotl, torch, transformers, datasets, peft, accelerate oraz deepspeed. Upewnij się, że masz dostęp do GPU i skonfigurowanego środowiska PyTorch.

2. Przygotuj konfigurację YAML dla swojego zadania dostrajania. Skill pomaga w definiowaniu parametrów modelu, rozmiaru batcha, algorytmu optymalizacji (LoRA, QLoRA, DPO) oraz strategii rozproszonego treningu.

3. Jeśli planujesz trenować na wielu GPU, skonfiguruj FSDP (Fully Sharded Data Parallel) w pliku YAML, ustawiając fsdp_version, offload_params i odpowiednią politykę zawijania warstw transformera.

4. Przed uruchomieniem pełnego treningu uruchom NCCL Tests, aby zweryfikować szybkość transferu danych między GPU i zidentyfikować wąskie gardła w komunikacji sieciowej.

5. Dostosuj context_parallel_size w zależności od liczby dostępnych GPU – wartość musi być dzielnikiem całkowitej liczby GPU. Parametr wpływa na rozmiar globalnego batcha i sposób przetwarzania sekwencji.

6. Włącz save_compressed: true w konfiguracji, aby zmniejszyć zajętość dysku o około 40% przy zachowaniu kompatybilności z vLLM do wnioskowania.