langfuse-core-workflow-b

Skill do Langfuse umożliwia ocenę i punktowanie wyników generowanych przez modele AI. Zaimplementuj ewaluację LLM za pomocą trzech typów ocen: numerycznych (0-1), kategorycznych (np. doskonały/słaby) i boolowskich (tak/nie). Dodawaj opinie użytkowników, automatycznie punktuj jakość odpowiedzi i zarządzaj eksperymentami z zestawami danych. Idealne do testowania promptów, benchmarkowania modeli i monitorowania jakości w produkcji.

1. Upewnij się, że masz zainstalowany Langfuse SDK z skonfigurowanymi kluczami API oraz że zbierasz już ślady (traces) za pomocą langfuse-core-workflow-a.

2. Zainstaluj pakiet @langfuse/client (wersja 4+) w swoim projekcie, jeśli jeszcze go nie masz.

3. Wyzwól skill frazami takimi jak "langfuse evaluation", "langfuse scoring", "rate llm outputs", "langfuse feedback", "langfuse datasets" lub "langfuse experiments".

4. Użyj SDK do tworzenia ocen numerycznych — przekaż traceId, nazwę metryki (np. "relevance"), wartość od 0 do 1 oraz typ danych NUMERIC. Dodaj opcjonalny komentarz opisujący ocenę.

5. Dla ocen kategorycznych (np. klasyfikacja jakości) podaj wartość tekstową (np. "excellent", "poor") i ustaw typ danych na CATEGORICAL. Możesz oceniać konkretne generacje, podając observationId.

6. Implementuj oceny boolowskie (tak/nie, zatwierdzone/odrzucone) dla szybkiego feedback'u — użyj wartości 1 lub 0 z typem BOOLEAN. Wszystkie oceny są przypisane do śladów i dostępne w dashboardzie Langfuse do analizy trendów i porównywania wersji promptów.