langfuse

Langfuse to otwarta platforma obserwacyjna dla aplikacji opartych na modelach językowych. Umożliwia śledzenie każdego wywołania LLM, zarządzanie promptami, ocenę wyników i śledzenie kosztów. Zintegruj się z LangChain, LlamaIndex lub OpenAI, aby uchwycić pełny obraz działania aplikacji w produkcji — od latencji po wydajność modelu. Idealne dla zespołów debugujących problemy z jakością odpowiedzi lub optymalizujących wydatki na API.

1. Zainstaluj bibliotekę Langfuse dla swojego języka (Python lub TypeScript/JavaScript) za pomocą menadżera pakietów — pip install langfuse lub npm install langfuse. 2. Utwórz konto na cloud.langfuse.com lub uruchom instancję self-hosted; skopiuj klucze publiczny i prywatny z panelu konfiguracji. 3. Zainicjuj klienta Langfuse w kodzie aplikacji, przekazując klucze i adres URL hosta — będzie to punkt wejścia do wszystkich operacji śledzenia. 4. Opatrz każde wywołanie LLM obiektem trace, który grupuje powiązane operacje — dodaj identyfikator użytkownika, sesji i metadane opisujące kontekst żądania. 5. Wewnątrz trace zarejestruj każde generowanie (wywołanie modelu) z parametrami modelu, wejściem i metadanymi — Langfuse automatycznie zbiera czas wykonania i koszty. 6. Po uruchomieniu aplikacji przejdź do dashboardu Langfuse, aby zobaczyć ślady, metryki wydajności, porównania promptów i trendy kosztów — użyj tych danych do iteracji nad promptami i wykrywania regresji.