ark-chainsaw-testing

Skill do uruchamiania i tworzenia testów end-to-end dla zasobów Ark przy użyciu frameworku Chainsaw. Umożliwia testowanie standardowych scenariuszy, debugowanie błędów oraz tworzenie nowych testów z mockami LLM. Zawiera gotowe szablony struktury testów, dokumentację wzorców oraz wsparcie dla rzeczywistych kluczy Azure OpenAI. Idealne dla zespołów rozwijających agentów i zasobów w ekosystemie Ark.

1. Zainstaluj skill w swoim projekcie Claude, upewniając się, że masz dostęp do repozytorium mckinsey/agents-at-scale-ark oraz zainstalowany Chainsaw.

2. Przejdź do katalogu testów i uruchom wszystkie standardowe testy poleceniem chainsaw test --selector 'standard', aby sprawdzić, czy środowisko jest poprawnie skonfigurowane.

3. Aby uruchomić konkretny test, użyj chainsaw test ./tests/nazwa-testu --fail-fast, co zatrzyma wykonanie przy pierwszym błędzie i ułatwi debugowanie.

4. W trybie debugowania uruchom test z flagami --skip-delete --pause-on-failure, aby zachować zasoby na serwerze i wznowić wykonanie po naprawie problemu.

5. Utwórz nowy test, tworząc katalog tests/moj-test/ ze strukturą: plik chainsaw-test.yaml (definicja testu), opcjonalnie mock-llm-values.yaml (konfiguracja mocków), README.md (dokumentacja) oraz katalog manifests/ z plikami YAML dla modelu, agenta i zapytania.

6. Dla testów z rzeczywistym LLM ustaw zmienne środowiskowe E2E_TEST_AZURE_OPENAI_KEY i E2E_TEST_AZURE_OPENAI_BASE_URL, następnie uruchom test standardowym poleceniem Chainsaw.