firecrawl-local-dev-loop

Umożliwia szybką iterację przy integracji FireCrawl na lokalnym komputerze. Uruchom self-hosted instancję FireCrawl w Docker, aby zaoszczędzić kredyty API podczas rozwoju. Mockuj SDK do testów jednostkowych i uruchamiaj testy integracyjne względem lokalnej instancji. Idealne dla zespołów, które chcą testować web scraping bez ponoszenia kosztów API na każdym etapie pracy.

1. Upewnij się, że masz zainstalowane Node.js 18+, npm lub pnpm, Docker i Docker Compose. Zainstaluj również pakiet @mendable/firecrawl-js w swoim projekcie.

2. Utwórz strukturę projektu z katalogami src/ (logika FireCrawl i konfiguracja), tests/ (testy jednostkowe i integracyjne) oraz plikami docker-compose.yml, .env.local i package.json w głównym katalogu.

3. Przygotuj plik docker-compose.yml, który uruchomi self-hosted instancję FireCrawl na porcie 3002 razem z Redis. Ustaw zmienne środowiskowe takie jak PORT, USE_DB_AUTHENTICATION, REDIS_URL i NUM_WORKERS_PER_QUEUE zgodnie z potrzebami rozwojowymi.

4. Utwórz plik .env.local z danymi dostępowymi do lokalnej instancji (np. adres localhost:3002) i dodaj go do .gitignore. Stwórz również .env.example jako szablon dla zespołu.

5. Napisz testy jednostkowe w tests/scraper.test.ts, które mockują SDK FireCrawl, oraz testy integracyjne w tests/integration.test.ts, które łączą się z lokalną instancją. Uruchom je za pomocą vitest.

6. Uruchom docker-compose up, aby postawić lokalny FireCrawl, a następnie testuj swoją logikę scrapingu bez zużywania kredytów API. Zmień zmienne środowiskowe, aby przełączać się między lokalnym a produkcyjnym API w razie potrzeby.