firecrawl-performance-tuning
Przyspeszy scraping FireCrawl dzięki cache'owaniu, batch'owaniu i optymalizacji formatów
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Skill do optymalizacji wydajności FireCrawl API. Zmniejsz czas odpowiedzi i zużycie kredytów poprzez wybór efektywnych formatów (markdown zamiast HTML i screenshot), tuning parametru waitFor dla stron z JavaScriptem, włączenie onlyMainContent, oraz użycie batch endpoints. Idealne do budowania szybkich pipeline'ów scrapingu i rozwiązywania problemów z wolnymi żądaniami.
Jak używać
Zainstaluj skill w swoim środowisku Claude Code, Codex lub OpenClaw. Skill automatycznie aktywuje się, gdy napiszesz frazy takie jak "firecrawl performance", "optimize firecrawl", "firecrawl latency", "firecrawl caching", "firecrawl slow" lub "firecrawl batch".
Rozpocznij od minimalizacji formatów — to daje największy wzrost wydajności. Zamiast żądać wszystkie formaty (markdown, HTML, linki, screenshot), poproś tylko o to, czego naprawdę potrzebujesz. Na przykład, jeśli wystarczy Ci markdown, ustaw formats: ["markdown"] i włącz onlyMainContent: true, aby pominąć nawigację, stopkę i paski boczne.
Jeśli scrapujesz strony z dużą ilością JavaScriptu, dostosuj parametr waitFor. Domyślnie FireCrawl nie czeka na wykonanie JS, co jest najszybsze. Jeśli treść ładuje się dynamicznie, dodaj waitFor z selektorem CSS elementu, który czekasz — ale unikaj czekania na wszystkie elementy, bo drastycznie spowalnia żądanie.
Do scrapingu wielu stron użyj batch endpoints zamiast pojedynczych żądań. Batch scraping 10 stron zajmuje 10-20 sekund, podczas gdy 10 osobnych żądań może zająć znacznie więcej czasu.
Monitoruj benchmarki wydajności: scrapeUrl z markdown zajmuje 2-5 sekund, z czekaniem na JS 5-10 sekund, ze screenshot'ami 8-15 sekund. Jeśli Twoje żądania są wolniejsze, przeanalizuj, które formaty i opcje dodajesz, i usuń niepotrzebne.
Testuj zmiany iteracyjnie — zmień jeden parametr na raz (format, waitFor, onlyMainContent) i porównaj czasy odpowiedzi, aby znaleźć optymalną konfigurację dla Twojego przypadku użycia.
Podobne skille
better-auth-best-practices
autor: novuhq
software-security
autor: project-codeguard
accessibility-compliance
autor: wshobson
payload
autor: payloadcms
solidity-security
autor: wshobson
typescript-review
autor: metabase