Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Skill do web scrapingu i wyszukiwania Google za pośrednictwem API Bright Data. Pozwala pobierać zawartość dowolnej strony internetowej w formacie markdown, automatycznie omijając systemy ochrony przed botami i CAPTCHA. Wyniki wyszukiwania Google otrzymujesz w strukturalnym formacie JSON z tytułami, linkami i opisami. Wymaga klucza API oraz skonfigurowanej strefy Unlocker w panelu Bright Data.
Jak używać
Załóż konto na Bright Data (brightdata.com) i zaloguj się do panelu kontrolnego, aby uzyskać swój klucz API.
W panelu Bright Data utwórz nową strefę Web Unlocker, klikając przycisk "Add" w górnym prawym rogu i wybierając typ "Unlocker zone". Zapamiętaj nazwę strefy.
Ustaw zmienne środowiskowe na swoim komputerze: BRIGHTDATA_API_KEY (twój klucz API) oraz BRIGHTDATA_UNLOCKER_ZONE (nazwa utworzonej strefy). W systemach Linux/macOS użyj komendy export, na Windows ustaw zmienne w ustawieniach systemowych.
Aby pobrać zawartość strony internetowej, uruchom skrypt scrape.sh z adresem URL jako argument. Skill zwróci czystą zawartość strony w formacie markdown, gotową do dalszego przetwarzania.
Aby wyszukać informacje w Google, użyj skryptu search.sh z zapytaniem jako argument. Otrzymasz strukturalny wynik JSON zawierający listę wyników organicznych z polami: link, title i description.
Dla wyszukiwań wielostronicowych dodaj parametr cursor (numer strony, zaczynając od 0) do komendy search.sh, aby przejść do następnych stron wyników.