firecrawl-core-workflow-a
Automatycznie zbieraj strony internetowe i konwertuj je na markdown gotowy dla AI
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Firecrawl Core Workflow A to umiejętność do Claude, Codex i OpenClaw, która pozwala ci pobierać zawartość stron internetowych i całych witryn, konwertując je na czysty markdown gotowy do przetwarzania przez modele językowe. Obsługuje zarówno pobieranie pojedynczych stron za pomocą scrapeUrl, jak i crawlowanie wielostronicowych serwisów za pomocą crawlUrl. Narzędzie automatycznie renderuje JavaScript, usuwa elementy nawigacyjne i stopki, a wynik zwraca w ustrukturyzowanym formacie z metadanymi. Idealne do budowania pipelinów pozyskiwania treści, analizy dokumentacji technicznej czy agregacji informacji z wielu źródeł internetowych.
Jak używać
Zainstaluj pakiet Firecrawl: upewnij się, że w twoim projekcie jest zainstalowana biblioteka @mendable/firecrawl-js oraz że masz ustawioną zmienną środowiskową FIRECRAWL_API_KEY z kluczem API z serwisu Firecrawl.
Zainicjalizuj klienta Firecrawl: utwórz instancję FirecrawlApp, przekazując klucz API z zmiennej środowiskowej. Ta instancja będzie używana do wszystkich żądań pobierania i crawlowania.
Dla pojedynczej strony użyj scrapeUrl: wywołaj metodę scrapeUrl z adresem URL strony, którą chcesz pobrać. Ustaw opcję onlyMainContent na true, aby automatycznie usunąć nawigację, stopki i paski boczne. Dodaj waitFor z czasem oczekiwania (np. 2000 ms), jeśli strona wymaga renderowania JavaScript.
Dla całej witryny użyj crawlUrl: jeśli chcesz pobrać wiele powiązanych stron, użyj crawlUrl zamiast scrapeUrl. Ustaw limit na maksymalną liczbę stron do pobrania (np. 50) i maxDepth na głębokość przeszukiwania (np. 3 poziomy). Firecrawl automatycznie będzie śledzić linki i renderować JavaScript na każdej stronie.
Przetwórz wynik: sprawdź pole success w zwróconej odpowiedzi. Jeśli operacja się powiodła, dostęp do metadanych (tytuł, źródłowy URL) oraz do zawartości markdown. Markdown zawiera czystą, sformatowaną treść gotową do dalszego przetwarzania przez modele AI.
Obsługuj asynchroniczne crawlowanie: dla dużych witryn Firecrawl może zwrócić identyfikator zadania zamiast natychmiastowego wyniku. W takim przypadku użyj polling, aby regularnie sprawdzać status zadania, aż do jego ukończenia i pobrania pełnego wyniku.