optimize-with-environments

Umożliwia optymalizację promptów systemowych w środowiskach za pomocą GEPA – narzędzia do polepszania wydajności bez gradientowego trenowania. Porównujesz wydajność baseline'u z wersją zoptymalizowaną, uruchamiasz GEPA z linii poleceń lub plików konfiguracyjnych TOML, a następnie interpretujesz wyniki przed wdrożeniem. Idealne, gdy chcesz poprawić jakość odpowiedzi modelu bez modyfikacji wag sieci.

1. Zainstaluj skill w swoim środowisku agenta (instrukcja zależy od używanego frameworka – sprawdź dokumentację repozytorium).

2. Przygotuj plik konfiguracyjny środowiska (np. my-env) zawierający system prompt, który chcesz optymalizować. Upewnij się, że masz zdefiniowane endpointy w pliku configs/endpoints.toml – możesz tam ustawić model, URL API i ewentualne niestandardowe nagłówki HTTP.

3. Uruchom ewaluację baseline'u poleceniem prime eval run my-env -m gpt-4.1-mini -n 50 -r 3 -s, aby zmierzyć wydajność oryginalnego promptu. Zachowaj domyślne zachowanie zapisu wyników, chyba że jawnie poprosisz o pominięcie uploadu.

4. Uruchom GEPA do optymalizacji promptu: prime gepa run my-env -m gpt-4.1-mini -M gpt-4.1-mini -B 500 -n 100 -N 50. Parametr -B określa budżet (liczbę wywołań), -n to liczba próbek treningowych, -N to liczba walidacyjnych. Alternatywnie możesz uruchomić GEPA z pliku konfiguracyjnego: prime gepa run configs/gepa/wordle.toml.

5. Po optymalizacji ponownie uruchom ewaluację z nowym promptem i porównaj metryki z baseline'em. Upewnij się, że używasz tego samego modelu w obu testach, chyba że celowo badasz wydajność na różnych rodzinach modeli.

6. Przeanalizuj wyniki GEPA – sprawdź, które zmiany w promcie przyniosły największą poprawę, i zdecyduj, czy wdrożyć zoptymalizowaną wersję do produkcji.