llm-tuning-patterns
Parametry AI dostrojone do zadania – wzorce oparte na badaniach dla dowodów, kodu i eksploracji
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Zbiór opartych na badaniach wzorców konfiguracji parametrów modeli językowych. Zawiera konkretne ustawienia temperatury, max_tokens i top_p dla trzech klas zadań: dowodów formalnych (z techniką proof plan), generowania kodu i zadań kreatywnych. Bazuje na badaniach APOLLO i Godel-Prover. Umożliwia znacznie lepsze wyniki poprzez dostosowanie parametrów do typu problemu zamiast używania uniwersalnych ustawień.
Jak używać
Zidentyfikuj typ zadania, które chcesz wykonać: dowód formalny (Lean 4), generowanie kodu, czy zadanie kreatywne. Każdy typ wymaga innej konfiguracji parametrów.
Dla dowodów formalnych ustaw max_tokens na 4096, temperature na 0.6 i top_p na 0.95. Te wartości dają modelowi wystarczająco dużo miejsca na chain-of-thought i pozwalają na eksplorację różnych ścieżek dowodu.
Przed przystąpieniem do taktyk Lean 4 zawsze poproś model o napisanie planu dowodu. Użyj promptu: "Najpierw napisz wysokopoziomowy plan dowodu wyjaśniający Twoje podejście. Następnie zaproponuj taktyki Lean 4 do implementacji każdego kroku." Plan dowodu znacznie poprawia jakość generowanych taktyk.
Dla trudnych dowodów zastosuj parallel sampling: wygeneruj 8-32 kandydujących prób dowodu z temperature 0.6-0.8, a następnie wybierz najlepszy wynik.
Dla generowania kodu użyj max_tokens 2048 i temperature 0.2-0.4, aby uzyskać deterministyczne, niezawodne wyjście. Dla zadań kreatywnych zwiększ temperature do 0.8-1.0 i max_tokens do 4096.
Unikaj typowych błędów: nie ustawiaj max_tokens poniżej 512 dla dowodów (obcina chain-of-thought), nie używaj temperature poniżej 0.2 dla dowodów formalnych (pomija kreatywne ścieżki taktyk) i zawsze stosuj proof plan zamiast przeskakiwać bezpośrednio do taktyk.