evaluate-presets

Skill do systematycznego testowania presertów kolekcji kapeluszy w Ralph. Pozwala na walidację konfiguracji presertów, audyt biblioteki pod kątem błędów i problemów UX oraz sprawdzenie poprawności działania nowych presertów. Uruchamia testy za pomocą skryptów bash z możliwością ewaluacji pojedynczego presetu lub całej biblioteki. Zbiera metryki takie jak liczba iteracji, aktywowane kapelusze i opublikowane zdarzenia. Idealne dla zespołów rozwijających i utrzymujących Ralph, szczególnie po zmianach w logice routingu presertów.

1. Zainstaluj skill w swoim projekcie Ralph, umieszczając katalog evaluate-presets w ścieżce .claude/skills/. 2. Przygotuj plik preset-test-tasks.yml w katalogu tools, jeśli chcesz definiować zadania testowe dla presertów. 3. Aby przetestować pojedynczy preset, użyj skryptu evaluate-preset.sh z nazwą presetu i backendem: ./tools/evaluate-preset.sh nazwa-presetu claude. Zastąp "nazwa-presetu" rzeczywistą nazwą presetu bez rozszerzenia .yml, a "claude" lub "kiro" wybranym backendem. 4. Aby przetestować wszystkie presety naraz, uruchom ./tools/evaluate-all-presets.sh claude. Skrypt załaduje konfiguracje, uruchomi Ralph z flagą --record-session i zbierze metryki. 5. Ponieważ testy mogą trwać wiele godzin, zawsze uruchamiaj skrypty w tle z timeout 600000 (10 minut) i użyj narzędzia TaskOutput z opcją block: false, aby sprawdzać postęp bez czekania na zakończenie. 6. Wyniki testów znajdziesz w katalogu .eval/ zawierającym logi, kody wyjścia, czasy wykonania i wyodrębnione metryki iteracji oraz aktywowanych presertów.