badge-evaluation

Skill do automatycznej oceny artefaktów naukowych zgodnie z kryteriami odznak NDSS. Sprawdza trzy poziomy: dostępność (DOI, repozytorium), funkcjonalność (dokumentacja, wykonalność kodu) i reprodukowalność (powtarzalność wyników). Zawiera szczegółowe listy kontrolne dla każdego wariantu odznaki — idealne dla recenzentów, autorów i instytucji oceniających jakość publikacji naukowych.

1. Przygotuj artefakt badawczy — upewnij się, że zawiera dokumentację, skrypty, dane oraz plik LICENSE. Jeśli chcesz ubiegać się o odznaką dostępności, umieść artefakt w repozytorium permanentnym (Zenodo, FigShare, Dryad) i uzyskaj DOI.

2. Wybierz typ odznaki do oceny: Available (dostępność), Functional (funkcjonalność) lub Reproduced (reprodukowalność). Każdy typ ma inne wymagania — dostępność wymaga DOI i metadanych, funkcjonalność wymaga działającego kodu i dokumentacji, reprodukowalność wymaga powtarzalnych wyników.

3. Dla odznaki dostępności sprawdź listę kontrolną: czy artefakt jest w permanentnym repozytorium, czy ma przypisany DOI, czy DOI jest wymieniony w dodatku pracy, czy README odwołuje się do artykułu, czy obecny jest plik LICENSE.

4. Dla odznaki funkcjonalności zweryfikuj dokumentację (czy wystarczy do użytku), kompletność (czy zawiera wszystkie kluczowe komponenty z pracy), wykonalność (czy skrypty i dane pozwalają na uruchomienie eksperymentów) oraz czy kod uruchamia się bez błędów na maszynie ewaluatora.

5. Dla odznaki reprodukowalności powtórz główne eksperymenty niezależnie, porównaj wyniki z oryginalnymi (dopuszczalna jest tolerancja) i sprawdź, czy wyniki potwierdzają główne twierdzenia pracy.

6. Dokumentuj wyniki oceny dla każdego kryterium — skill wspiera proces weryfikacji artefaktów zgodnie ze standardami NDSS, ułatwiając przyznawanie odznak i poprawiając przejrzystość badań naukowych.