trulens-instrumentation
Śledź i debuguj aplikacje LLM z precyzyjnym tracingiem OpenTelemetry
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Umożliwia instrumentację aplikacji opartych na dużych modelach językowych za pomocą TruLens i standardu OpenTelemetry. Automatycznie przechwytuje ślady wykonania dla frameworków takich jak LangChain, LangGraph i LlamaIndex, a także wspiera niestandardowe instrumentacje. Pozwala na dodawanie własnych atrybutów do śladów, debugowanie problemów z ewaluacją oraz optymalizację tego, co jest rejestrowane dla wizualizacji i analizy.
Jak używać
Wybierz framework, którego używasz w aplikacji — LangChain, LangGraph, LlamaIndex lub Custom. Każdy framework ma dedykowany wrapper (TruChain, TruGraph, TruLlama lub TruApp), który automatycznie instrumentuje komponenty aplikacji.
Zainstaluj TruLens i zintegruj odpowiedni wrapper z Twoją aplikacją. Dla frameworków wspieranych automatycznie (LangChain, LangGraph, LlamaIndex) wrapper zajmie się przechwytywaniem podstawowych śladów — wywołań LLM, węzłów grafu czy silników zapytań.
Określ, jakie dane chcesz przechwycić — czy to dane wejściowe użytkownika, odpowiedzi końcowe, czy inne atrybuty istotne dla wizualizacji i ewaluacji. Dodaj niestandardowe atrybuty do śladów za pomocą dekoratora @instrument() lub poprzez bezpośrednie ustawienie atrybutów na spanach.
Uruchom aplikację i weryfikuj, czy ślady są poprawnie generowane. Sprawdź, czy wszystkie istotne komponenty są instrumentowane i czy atrybuty zawierają oczekiwane dane.
Jeśli ewaluacje nie działają prawidłowo, sprawdź, czy brakuje wymaganych atrybutów w śladach. Dodaj brakujące dane do instrumentacji lub dostosuj nazwy spanów, aby były bardziej czytelne.
Optymalizuj to, co jest przechwytywane — usuń zbędne ślady, popraw nazwy spanów dla lepszej czytelności w dashboardzie i upewnij się, że wszystkie dane niezbędne do ewaluacji są dostępne.