arize-phoenix

Phoenix to otwarta platforma obserwacyjna dla aplikacji opartych na modelach językowych. Śledź wykonanie kodu AI, mierz jakość odpowiedzi za pomocą ewaluatorów, iteruj prompty na podstawie rzeczywistych danych produkcyjnych i porównuj wersje aplikacji. Zintegrowana z OpenTelemetry, pozwala monitorować koszty, opóźnienia i błędy, budować datasety do fine-tuningu oraz optymalizować systemy RAG i agentów.

1. Zainstaluj Phoenix jako skill w swoim środowisku agenta. Narzędzie wymaga integracji z OpenTelemetry, więc upewnij się, że Twoja aplikacja AI wysyła traces do platformy.

2. Skonfiguruj tracing dla Twoich LLM calls, tool executions i operacji retrieval. Phoenix automatycznie zbiera szczegółowe informacje o każdym kroku wykonania aplikacji — od promptów po odpowiedzi modelu.

3. Zdefiniuj ewaluatory do pomiaru jakości outputów. Możesz użyć wbudowanych ewaluatorów opartych na LLM-as-a-judge lub napisać własną logikę oceny w kodzie, aby mierzyć metryki istotne dla Twojego przypadku użycia.

4. Iteruj nad promptami, korzystając z rzeczywistych przykładów z produkcji. Phoenix umożliwia testowanie wariantów promptów i porównywanie ich wydajności na tych samych danych.

5. Uruchamiaj eksperymenty porównujące różne wersje aplikacji — zmieniane modele, architektury lub strategie. Platforma wspiera analizę wyników i identyfikację najlepszych konfiguracji.

6. Monitoruj metryki produkcyjne takie jak koszty tokenów, latencja i wskaźniki błędów. Buduj datasety z traces do dalszego fine-tuningu modeli lub ewaluacji.