peft-fine-tuning

Umożliwia efektywne dostrajanie dużych modeli językowych (7B–70B parametrów) na konsumenckich GPU-ach. Zamiast trenować wszystkie wagi, trenujesz mniej niż 1% parametrów za pomocą metod LoRA, QLoRA i 25+ innych technik adaptacyjnych. Zintegrowana biblioteka HuggingFace oszczędza pamięć GPU (adaptery zajmują 6MB zamiast 14GB pełnego modelu) i przyspiesza iterację. Idealna, gdy dysponujesz ograniczoną mocą obliczeniową, ale potrzebujesz szybkiego dostrajania dla wielu zadań.

1. Zainstaluj bibliotekę PEFT wraz z zależnościami: uruchom pip install peft transformers accelerate bitsandbytes datasets. Opcjonalnie dodaj bitsandbytes dla wsparcia kwantyzacji, jeśli planujesz pracować z modelami 70B na GPU z 24GB pamięci.

2. Załaduj bazowy model i tokenizer z HuggingFace Hub, na przykład Llama 3.1 8B lub inny model obsługiwany przez bibliotekę transformers.

3. Skonfiguruj LoRA poprzez LoraConfig, określając parametry takie jak ranga (rank), współczynnik skalowania (lora_alpha) i warstwy docelowe. Dla większości przypadków domyślne wartości działają dobrze.

4. Owinięcie modelu w get_peft_model() aktywuje dostrajanie efektywne — model będzie trenować tylko adaptery, a nie wszystkie wagi.

5. Przygotuj swój zbiór danych (własny lub z biblioteki datasets) i uruchom trening za pomocą Trainer z TrainingArguments. Określ liczbę epok, rozmiar batcha i ścieżkę zapisu.

6. Po treningu zapisz adapter (model.save_pretrained()) — zajmie on kilka MB. Możesz załadować go później i łączyć z bazowym modelem do wnioskowania lub dalszego dostrajania dla innych zadań.