langfuse-ci-integration

Skill do konfiguracji integracji Langfuse z systemem CI/CD przy użyciu GitHub Actions. Umożliwia automatyczne testowanie śladów (traces), walidację wersji promptów, testowanie regresji wyników ewaluacji oraz zautomatyzowany deployment promptów z kontroli wersji. Obsługuje konfigurację workflow'ów, zarządzanie kluczami API Langfuse jako GitHub Secrets oraz uruchamianie testów jakości AI w procesie budowania. Idealne dla zespołów pracujących z observability'em modeli AI i chcących zapewnić jakość promptów na każdym etapie development'u.

1. Przygotuj warunki wstępne: upewnij się, że masz dostęp do instancji Langfuse (Cloud lub self-hosted), wygeneruj klucze API (publiczny i tajny) oraz skonfiguruj framework testowy w swoim projekcie.

2. Dodaj sekrety GitHub: przejdź do ustawień repozytorium, otwórz sekcję Secrets and variables, a następnie Actions. Dodaj LANGFUSE_PUBLIC_KEY i LANGFUSE_SECRET_KEY jako sekrety oraz LANGFUSE_HOST jako zmienną (jeśli używasz self-hosted instancji).

3. Utwórz plik workflow: w katalogu .github/workflows/ stwórz plik langfuse-tests.yml. Skonfiguruj trigger na pull_request'y, które dotyczą katalogów z kodem AI i promptami (np. src/ai/, src/prompts/, tests/ai/).

4. Skonfiguruj kroki workflow: dodaj checkout kodu, setup Node.js (wersja 20), instalację zależności (npm ci) oraz uruchomienie testów AI z verbose reporterem. Przekaż zmienne środowiskowe Langfuse (PUBLIC_KEY, SECRET_KEY, HOST) oraz OPENAI_API_KEY do kroku z testami.

5. Dodaj flush śladów: po uruchomieniu testów dodaj krok, który wyczyści i zsynchronizuje ślady z Langfuse. Użyj Node.js do załadowania biblioteki Langfuse i wywołania metody flush().

6. Wdrażaj i monitoruj: push workflow do repozytorium. Od teraz każdy pull request będzie automatycznie uruchamiać testy jakości AI, walidować ślady oraz wysyłać wyniki do Langfuse. Monitoruj wyniki w dashboardzie Langfuse i dostosuj konfigurację na podstawie feedback'u z testów.