report-research
Automatyczne raporty z eksperymentów Numerai – pełna dokumentacja i wykresy w experiment.md
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Skill do tworzenia profesjonalnych raportów z badań Numerai. Po uruchomieniu eksperymentu generuje kompletny dokument experiment.md zawierający streszczenie, metodologię, tabelę wyników oraz standardowe wykresy show_experiment. Oszczędza czas na dokumentacji i zapewnia spójny format raportowania dla każdego eksperymentu.
Jak używać
Przygotuj folder eksperymentu zawierający podfoldery: configs/ (konfiguracje), results/ (metryki JSON), predictions/ (wyniki OOF w formacie parquet) oraz plik experiment.md, który będzie zaktualizowany.
Zidentyfikuj konfiguracje, które faktycznie zostały uruchomione, sprawdzając obecność odpowiadających im plików w results/.json i predictions/.parquet. Zanotuj, które eksperymenty były wykonane w rundach i jakie zmiany wprowadzono w każdej rundzie.
Wyznacz najlepszy model, używając jako głównych kryteriów bmc_mean i bmc_last_200_eras.mean, a corr_mean jako weryfikacji. Jeśli było wiele rund, podsumuj intencję każdej rundy i czy polepszono wynik.
Zbierz metryki dla każdego uruchomionego modelu: corr_mean, bmc_mean, bmc_last_200_eras.mean oraz avg_corr_with_benchmark. Przygotuj jedną tabelę markdown z jednym wierszem na model.
Wyzwij skill z prośbą o "full report", "write up", "experiment.md update" lub "generate the standard plot". Skill automatycznie wygeneruje raport zawierający: tytuł i datę, streszczenie (co testowano i główny wynik), hipotezę, metodologię, opis przeprowadzonych eksperymentów, tabelę wyników oraz linki do standardowych wykresów.
Przejrzyj wygenerowany experiment.md i wykresy, aby upewnić się, że wszystkie sekcje są kompletne i dokładne.