llm-evaluation

Skill do kompleksowej oceny aplikacji opartych na modelach językowych. Zautomatyzuj testowanie wydajności za pomocą metryk takich jak BLEU, ROUGE czy BERTScore dla generowania tekstu, a także Accuracy i F1 dla klasyfikacji. Dodaj ocenę człowieka dla aspektów trudnych do zmierzenia automatycznie — dokładność, spójność, trafność odpowiedzi. Porównuj modele, wykrywaj regresje przed wdrożeniem i buduj zaufanie do systemów produkcyjnych poprzez śledzenie postępów w czasie.

1. Zainstaluj skill llm-evaluation w swoim środowisku agenta lub Claude'a, dodając go do listy dostępnych umiejętności.

2. Przygotuj zestaw testowy zawierający przykładowe wejścia, oczekiwane wyjścia oraz rzeczywiste odpowiedzi z Twojej aplikacji LLM, którą chcesz ocenić.

3. Wybierz metryki automatyczne odpowiednie do Twojego zadania: dla generowania tekstu (tłumaczenie, streszczanie) użyj BLEU, ROUGE lub BERTScore; dla klasyfikacji wybierz Accuracy, Precision, Recall lub F1; dla systemów RAG zastosuj MRR, NDCG lub Precision@K.

4. Uruchom ocenę automatyczną, aby uzyskać szybkie, powtarzalne wyniki. Skill obliczy wybrane metryki dla całego zestawu testowego i zwróci wyniki w postaci liczbowej.

5. Jeśli metryki automatyczne nie wystarczają, dodaj ocenę człowieka dla wymiarów takich jak dokładność faktyczna, spójność logiczna, trafność odpowiedzi, płynność języka lub bezpieczeństwo treści. Możesz też użyć mocniejszego modelu LLM jako sędziego do porównywania par odpowiedzi.

6. Porównaj wyniki między różnymi modelami, wersjami promptów lub konfiguracjami, aby zidentyfikować ulepszenia, wykryć regresje przed wdrożeniem i ustalić linie bazowe do śledzenia postępów w czasie.