fine-tuning-with-trl

Skill do dostrajania dużych modeli językowych przy użyciu biblioteki TRL i reinforcement learning. Obsługuje nadzorowane dostrajanie (SFT) do nauki instrukcji, wyrównanie preferencji (DPO), optymalizację nagród (PPO/GRPO) oraz trening modeli nagród. Idealne gdy potrzebujesz RLHF, chcesz wyrównać model z preferencjami użytkowników lub trenować na podstawie ludzkiego feedbacku. Współpracuje z HuggingFace Transformers.

1. Zainstaluj wymagane pakiety: pip install trl transformers datasets peft accelerate. 2. Przygotuj swoje dane treningowe – dla SFT potrzebujesz par prompt-completion, dla DPO par chosen/rejected. 3. Załaduj model bazowy, np. Qwen/Qwen2.5-0.5B, używając AutoModelForCausalLM z biblioteki transformers. 4. Dla nadzorowanego dostrajania (SFT) utwórz SFTTrainer, przekaż model, dataset i uruchom trainer.train(). 5. Jeśli chcesz wyrównać model z preferencjami, użyj DPOTrainer z DPOConfig, ustaw preference_dataset z parami chosen/rejected i trenuj. 6. Po dostrojeniu ewaluuj model na testowych danych, aby sprawdzić jakość wyrównania z ludzkimi preferencjami.