Toolverse
Wszystkie skille

mistral-ci-integration

autor: jeremylongshore

Zautomatyzuj testy promptów Mistral AI w pipeline'ach CI/CD na GitHubie

Instalacja

Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.

Instalacja

O skillu

Skill do integracji Mistral AI z GitHub Actions — skonfiguruj automatyczne testy regresji promptów, sprawdzanie jakości odpowiedzi modelu i szacowanie kosztów bezpośrednio w pull requestach. Wykorzystaj deployment gates do kontroli zmian w promptach. Wymaga klucza API Mistral zapisanego jako secret w repozytorium oraz Vitest do uruchamiania testów. Idealne dla zespołów pracujących z promptami, które chcą zapewnić stabilność i kontrolę kosztów na każdym commit'cie.

Jak używać

  1. Przygotuj repozytorium: upewnij się, że masz zainstalowany Node.js 20+ i npm, a Twoje prompty znajdują się w katalogu src/prompts/ lub src/ai/.

  2. Dodaj klucz API: przejdź do ustawień repozytorium GitHub → Secrets and variables → Actions i utwórz nowy secret o nazwie MISTRAL_API_KEY z wartością Twojego klucza API Mistral.

  3. Utwórz workflow GitHub Actions: w katalogu .github/workflows/ stwórz plik mistral-tests.yml. Workflow powinien uruchamiać się na pull requestach dotyczących zmian w promptach (src/prompts/**, src/ai/**, tests/ai/**), instalować zależności (npm ci) i uruchamiać testy za pomocą npx vitest run tests/ai/ --reporter=verbose z przekazanym kluczem API jako zmienną środowiskową.

  4. Napisz testy regresji: w pliku tests/ai/mistral-prompts.test.ts zdefiniuj testy za pomocą Vitest, które sprawdzają poprawność odpowiedzi modelu Mistral dla Twoich promptów. Każdy test powinien weryfikować konkretne zachowanie lub format odpowiedzi.

  5. Dodaj szacowanie kosztów (opcjonalnie): utwórz skrypt scripts/estimate-costs.ts, który oblicza koszt API na podstawie liczby tokenów użytych w testach i wypisuje wynik do $GITHUB_STEP_SUMMARY — wynik pojawi się w podsumowaniu pull requesta.

  6. Wdrażaj ze spokojną głową: każdy pull request z zmianami w promptach automatycznie uruchomi testy, pokaże wyniki i koszty, dając Ci pewność przed merge'owaniem.

Podobne skille