Toolverse
Wszystkie skille

firecrawl-ci-integration

autor: jeremylongshore

Zautomatyzuj testy web scrapingu Firecrawl w GitHub Actions

Instalacja

Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.

Instalacja

Szybkie info

Kategoria
Testowanie
Wyświetlenia
1

O skillu

Skill do konfiguracji pipelinów CI/CD dla Firecrawl z GitHub Actions. Pozwala na automatyczne testowanie integracji web scrapingu, zarządzanie kluczami API w sekrecie, oraz walidację zachowania scrapingu w pull requestach. Obejmuje testy jednostkowe z mockowanym SDK oraz testy integracyjne z rzeczywistymi zapytaniami do API. Idealny dla zespołów, które chcą upewnić się, że scraping działa poprawnie przed mergowaniem zmian do głównej gałęzi.

Jak używać

  1. Przygotuj repozytorium GitHub z włączoną obsługą Actions oraz zainstalowaną biblioteką @mendable/firecrawl-js w projekcie Node.js.
  2. Dodaj testowy klucz API Firecrawl do GitHub Actions secrets, uruchamiając polecenie gh secret set FIRECRAWL_API_KEY z wartością klucza testowego (oddzielonym od klucza produkcyjnego).
  3. Utwórz plik workflow w .github/workflows/firecrawl-tests.yml, który definiuje dwa zadania: unit-tests (uruchamiane na każdy push i pull request, używające mockowanego SDK bez potrzeby klucza API) oraz integration-tests (uruchamiane tylko na merge do main, z dostępem do sekretu FIRECRAWL_API_KEY).
  4. W zadaniu unit-tests skonfiguruj Node.js 20, zainstaluj zależności npm ci i uruchom npm test -- --coverage, aby sprawdzić pokrycie kodu.
  5. W zadaniu integration-tests ustaw zmienną środowiskową FIRECRAWL_API_KEY z sekretu GitHub, a następnie uruchom testy integracyjne, które walidują rzeczywiste zachowanie scrapingu API.
  6. Commit i push workflow do repozytorium — GitHub Actions automatycznie uruchomi testy na każdy push i pull request, oszczędzając kredyty API poprzez wykonywanie pełnych testów integracyjnych tylko na merge.

Podobne skille