phoenix-observability

Phoenix to platforma obserwacyjna dla modeli językowych, która pozwala śledzić działanie aplikacji AI za pomocą szczegółowych śladów, uruchamiać ewaluacje na zbiorach danych oraz monitorować systemy produkcyjne w czasie rzeczywistym. Narzędzie wspiera OpenTelemetry, oferuje ewaluatory LLM-as-judge, wersjonowane zestawy testowe i interaktywny playground do testowania promptów. Możesz go hostować samodzielnie z PostgreSQL lub SQLite, bez uzależnienia od dostawcy.

1. Zainstaluj Phoenix za pomocą pip install arize-phoenix. Dla pełnej funkcjonalności możesz dodać komponenty: pip install arize-phoenix[embeddings] do analizy embeddingów, pip install arize-phoenix-otel dla konfiguracji OpenTelemetry, lub pip install arize-phoenix-evals dla frameworku ewaluacji. 2. Skonfiguruj kolekcję śladów w swojej aplikacji LLM, korzystając z obsługi OpenTelemetry — Phoenix automatycznie zbiera dane o wywołaniach modeli i operacjach. 3. Uruchom ewaluacje na swoich zbiorach danych, używając wbudowanych ewaluatorów LLM-as-judge do oceny jakości odpowiedzi. 4. Monitoruj produkcyjne systemy AI w czasie rzeczywistym, obserwując metryki i anomalie w dashboardzie. 5. Twórz eksperymenty porównujące różne prompty, modele lub konfiguracje, aby znaleźć najlepsze podejście. 6. Korzystaj z interaktywnego playground do testowania promptów z wieloma modelami przed wdrożeniem w produkcję.