langsmith-observability
Debuguj, testuj i monitoruj aplikacje AI w produkcji z pełną widocznością każdego wywołania modelu.
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
LangSmith to platforma obserwacyjna dla modeli języka, która daje ci kontrolę nad całym cyklem życia aplikacji AI. Śledź każde wywołanie LLM, jego opóźnienia i koszty tokenów. Systematycznie testuj wyniki modelu na zbiorach danych. Monitoruj błędy i metryki w produkcji. Współpracuj z zespołem nad inżynierią promptów. Integruje się z OpenAI, Anthropic, LangChain i LlamaIndex.
Jak używać
Zainstaluj pakiet LangSmith poleceniem pip install langsmith. Następnie ustaw zmienne środowiskowe: LANGSMITH_API_KEY z twoim kluczem API oraz LANGSMITH_TRACING na wartość true, aby włączyć automatyczne śledzenie.
Ozdób funkcję, która wywołuje model, dekoratorem @traceable z biblioteki langsmith. Dzięki temu każde wywołanie LLM będzie automatycznie rejestrowane z inputami, outputami i opóźnieniami.
Uruchom aplikację normalnie. LangSmith będzie w tle zbierać dane o wszystkich wywołaniach modelu i wysyłać je do platformy.
W dashboardzie LangSmith przejrzyj ślady (traces) swoich aplikacji. Sprawdź czasy wykonania, użycie tokenów i koszty dla każdego kroku łańcucha.
Stwórz zestawy testowe z rzeczywistych danych produkcyjnych lub ręcznie. Uruchom ewaluatory wbudowane lub własne, aby systematycznie testować jakość outputów modelu.
Skonfiguruj monitorowanie dla systemów w produkcji, aby śledzić błędy, anomalie i trendy w metrikach. Współpracuj z zespołem, dzieląc się wynikami i iterując nad promptami.