create-eval

Skill do tworzenia testów ewaluacyjnych dla projektu HolmesGPT. Umożliwia pisanie i organizowanie testów, które sprawdzają, czy Holmes poprawnie odpowiada na pytania poprzez zapytania do rzeczywistej infrastruktury i usług. Zawiera kompletny przepływ pracy: od wyboru numeru testu, przez definiowanie struktury w pliku test_case.yaml, aż po konfigurację tagów i opcjonalnych manifestów Kubernetesa. Każdy test żyje w osobnym katalogu ze standardową strukturą plików, co ułatwia zarządzanie i skalowanie zestawu testów.

1. Sprawdź istniejące testy, aby znaleźć następny dostępny numer: uruchom polecenie ls tests/llm/fixtures/test_ask_holmes/ | sort -n | tail -5 w repozytorium HolmesGPT. 2. Utwórz nowy katalog testowy w ścieżce tests/llm/fixtures/test_ask_holmes/ używając konwencji nazewnictwa: NNN_snake_case_description (np. 212_large_configmap_needle), gdzie NNN to trzycyfrowy numer, a namespace dla zasobów to app-NNN. 3. Przeczytaj sekcję [tool.pytest.ini_options] markers w pliku pyproject.toml, aby sprawdzić dostępne tagi — używaj tylko istniejących tagów, ponieważ nieprawidłowe tagi powodują błędy podczas zbierania testów. 4. Stwórz plik test_case.yaml z wymaganymi polami: user_prompt (konkretne pytanie dla Holmes), expected_output (lista kryteriów, które odpowiedź musi spełniać) oraz tags (lista tagów z pyproject.toml). 5. Opcjonalnie dodaj pliki toolsets.yaml (aby włączyć określone zestawy narzędzi), manifest.yaml (manifesty Kubernetesa) lub skrypty generate_*.py (do generowania danych testowych). 6. Upewnij się, że wszystkie nazwy podów i zasobów są unikalne w całym projekcie testów, aby uniknąć konfliktów między testami.