quantizing-models-bitsandbytes

Narzędzie do kwantyzacji dużych modeli językowych do formatu 8-bitowego lub 4-bitowego. Pozwala załadować większe modele na GPU z ograniczoną pamięcią, przyspieszając jednocześnie wnioskowanie. Obsługuje formaty INT8, NF4 i FP4, trening QLoRA oraz optymalizatory 8-bitowe. Pracuje z biblioteką HuggingFace Transformers i wymaga zainstalowania bitsandbytes, accelerate oraz PyTorch.

1. Zainstaluj wymagane pakiety: pip install bitsandbytes transformers accelerate. 2. Oblicz wymagania pamięciowe swojego modelu — dla modelu 7B w FP16 potrzebujesz około 14 GB, w INT8 około 7 GB, w INT4 około 3,5 GB. 3. Wybierz poziom kwantyzacji: 8-bitowy dla 50% redukcji pamięci lub 4-bitowy dla 75% redukcji. 4. Skonfiguruj kwantyzację, importując BitsAndBytesConfig z transformers i ustawiając load_in_8bit=True lub load_in_4bit=True. 5. Załaduj model za pomocą AutoModelForCausalLM.from_pretrained(), przekazując konfigurację kwantyzacji i device_map="auto". 6. Zweryfikuj, że model załadował się prawidłowo i testuj wnioskowanie — dokładność powinna być utracona poniżej 1%.