slm-lab-benchmark
Uruchamiaj benchmarki deep RL, monitoruj zadania i aktualizuj wyniki w tabelach
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Umiejętność do uruchamiania benchmarków SLM-Lab dla algorytmów deep reinforcement learning. Pozwala na uruchomienie testów wydajności, monitorowanie postępu zadań w dstack, ekstrakcję wyników treningów oraz automatyczną aktualizację dokumentacji BENCHMARKS.md. Obsługuje generowanie wykresów porównawczych i zarządzanie danymi na Hugging Face. Idealna dla badaczy i inżynierów pracujących nad optymalizacją modeli RL.
Jak używać
Zainstaluj umiejętność w swoim projekcie SLM-Lab, upewniając się, że masz dostęp do dstack oraz skonfigurowany plik .env z kredencjałami Hugging Face.
Poproś Claude'a o uruchomienie benchmarków, podając nazwę środowiska (env) i parametry testów. Umiejętność automatycznie przygotuje specyfikacje zadań, respektując zmienną ${max_frame} i inne ustawienia z pliku konfiguracyjnego.
Monitoruj postęp uruchomionych zadań za pomocą polecenia dstack ps. Umiejętność będzie śledzić status każdego uruchomienia i czekać na jego zakończenie. Pamiętaj, że maksymalnie 10 zadań może być uruchomione jednocześnie — jeśli potrzebujesz więcej, umiejętność uruchomi je w partiach.
Po zakończeniu każdego zadania umiejętność automatycznie wyodrębni wynik (total_reward_ma), pobierze folder danych z Hugging Face i zaktualizuje tabelę wyników w BENCHMARKS.md wraz z linkami do danych.
Poproś o wygenerowanie wykresów porównawczych dla danego środowiska. Umiejętność zbierze wszystkie foldery danych, dopasuje je do wpisów w BENCHMARKS.md i utworzy wizualizacje za pomocą polecenia slm-lab plot.
Nigdy nie zatwierdzaj zmian w repozytorium zdalnym bez wyraźnej zgody — umiejętność będzie czekać na Twoją autoryzację przed push'em do gałęzi.