firecrawl-scraper

Umiejętność do integracji z Firecrawl v2 API — narzędziem do scrapowania i crawlowania stron internetowych, które konwertuje je na dane gotowe dla modeli AI. Obsługuje renderowanie JavaScript, omijanie systemów anti-bot (CAPTCHA, detekcja botów), konwersję do markdown lub JSON, oraz przechwytywanie zrzutów ekranu. Idealne do ekstrakcji artykułów, szczegółów produktów, strukturyzowanych danych z wielu stron i automatyzacji zbierania treści z dynamicznych serwisów.

1. Zainstaluj umiejętność firecrawl-scraper w swoim środowisku Claude lub kompatybilnym agencie, korzystając z repozytorium https://github.com/jackspace/ClaudeSkillz/tree/master/skills/firecrawl-scraper. Upewnij się, że masz dostęp do Firecrawl API v2 i wygenerowany klucz API.

2. Aby scrapować pojedynczą stronę, użyj endpointu /v2/scrape z adresem URL strony docelowej. Określ format wyjściowy (markdown, HTML lub screenshot) oraz opcjonalne parametry takie jak onlyMainContent (aby usunąć nawigację, stopkę i reklamy) i waitFor (aby czekać na załadowanie dynamicznej zawartości).

3. Dla crawlowania całej witryny użyj endpointu /v2/crawl, który automatycznie mapuje wszystkie dostępne adresy URL i zbiera treść ze wszystkich stron. Skonfiguruj limit głębokości crawlowania i filtry URL zgodnie z potrzebami.

4. Jeśli potrzebujesz przetwarzać wiele stron jednocześnie, wykorzystaj batch scraping, aby wysłać listę adresów URL i otrzymać wyniki dla wszystkich stron w jednym żądaniu.

5. Obsługuj odpowiedzi API — treść zwracana jest w wybranym formacie (najczęściej markdown dla modeli AI). Jeśli napotkasz błędy związane z blokowaniem botów lub brakiem załadowania treści, umiejętność automatycznie aktywuje renderowanie JavaScript i mechanizmy omijania ochrony.

6. Integruj wyodrębnione dane z pozostałą częścią przepływu pracy — przekazuj markdown do analizy przez model AI, przechowuj strukturyzowane dane w bazie danych lub użyj zrzutów ekranu do weryfikacji wizualnej.