firecrawl

Firecrawl to narzędzie do automatycznego pobierania i przetwarzania zawartości stron internetowych. Obsługuje pięć trybów pracy: synchroniczne scraping pojedynczych stron, wyszukiwanie sieciowe, mapowanie sitemap, asynchroniczne crawlowanie całych witryn oraz ekstrakcję danych strukturalnych według zdefiniowanego schematu. Każdy tryb przyjmuje parametry w zagnieżdżonej strukturze JSON, a operacje asynchroniczne zwracają identyfikator zadania do śledzenia postępu.

1. Przygotuj zapytanie w formacie JSON z polem "mode" określającym tryb pracy (scrape, search, map, crawl lub extract) oraz obiektem "parameters" zawierającym parametry specyficzne dla wybranego trybu. Wszystkie parametry muszą znajdować się wewnątrz obiektu parameters, nigdy na poziomie głównym.

2. Aby pobrać zawartość pojedynczej strony, użyj trybu "scrape" z parametrem "url" (wymagany) i opcjonalnie "formats" do wyboru formatu wyjścia (markdown lub html). Na przykład: mode scrape z url https://example.com zwróci zawartość strony w markdown.

3. Dla wyszukiwania w sieci użyj trybu "search" z parametrem "query" zawierającym frazę do wyszukania oraz opcjonalnie "limit" określający liczbę wyników. Wyniki zwracane są synchronicznie.

4. Jeśli potrzebujesz mapy struktury witryny, użyj trybu "map" z parametrem "url" – narzędzie pobierze i zwróci strukturę sitemap danej domeny.

5. Do asynchronicznego crawlowania całej witryny lub dużej liczby stron użyj trybu "crawl" z parametrem "url" i opcjonalnie "limit" – operacja zwróci job_id, który następnie możesz sprawdzić trybem "check_status" aby monitorować postęp.

6. Dla ekstrakcji danych strukturalnych użyj trybu "extract" z parametrami "urls" (tablica adresów), "prompt" (instrukcja co wyodrębnić) i "schema" (definicja struktury JSON oczekiwanego wyniku) – narzędzie zwróci dane sformatowane według podanego schematu.