knowledge-distillation

Umieść wiedzę dużych modeli (np. GPT-4) w mniejszych modelach za pomocą destylacji wiedzy. Technika pozwala zmniejszyć rozmiar modelu z 70 miliardów do 7 miliardów parametrów, zachowując ponad 90% wydajności. Idealna do wdrażania na urządzeniach z ograniczonymi zasobami, transferu możliwości modeli proprietarnych na otwarte rozwiązania (LLaMA, Mistral) oraz redukcji kosztów inferencji. Obsługuje skalowanie temperatury, miękkie cele, odwrotną dywergencję KL, destylację logitów i strategie treningu MiniLLM.

1. Zainstaluj wymagane biblioteki: pip install transformers datasets accelerate torch deepspeed wandb. Opcjonalnie sklonuj repozytorium MiniLLM z GitHub (microsoft/LMOps), aby uzyskać zaawansowane implementacje destylacji.

2. Przygotuj parę modeli: załaduj duży model nauczycielski (np. Llama-2-70b) i mały model ucznia (np. Llama-2-7b) za pomocą AutoModelForCausalLM z biblioteki transformers.

3. Wybierz technikę destylacji odpowiednią do Twojego przypadku użycia: skalowanie temperatury dla prostszych scenariuszy, destylację logitów dla transferu wiedzy z modeli proprietarnych, lub odwrotną dywergencję KL (MiniLLM) dla zaawansowanej kompresji.

4. Przygotuj dane treningowe — możesz użyć danych syntetycznych wygenerowanych przez model nauczycielski lub istniejące zbiory danych dostosowane do Twojej domeny.

5. Skonfiguruj parametry treningu w TrainingArguments (liczba epok, rozmiar batcha, współczynnik uczenia) i uruchom trening za pomocą klasy Trainer, monitorując postęp w Weights & Biases.

6. Po treningu przetestuj model ucznia na zadaniach docelowych, aby potwierdzić, że zachował co najmniej 90% wydajności oryginalnego modelu nauczycielskiego przy znacznie mniejszym rozmiarze.