apify
Zbieraj dane ze stron internetowych za pomocą gotowych skraperów bez pisania kodu
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Apify to platforma do web scrapingu i automatyzacji, która oferuje tysiące gotowych Aktorów (skraperów) dla popularnych serwisów. Możesz uruchamiać pre-built scrapery do Amazon, Google, LinkedIn, Twittera i innych stron, lub tworzyć własne. Ekstrahuj ustrukturyzowane dane z dowolnej witryny, automatyzuj zadania webowe na dużą skalę i przechowuj wyniki w dedykowanym magazynie danych. Integracja przez API wymaga jedynie tokenu dostępu — idealne rozwiązanie dla analityków danych, marketerów i programistów potrzebujących szybkiego dostępu do informacji z sieci.
Jak używać
Załóż konto na apify.com i zaloguj się do konsoli na console.apify.com/account#/integrations, aby pobrać swój token API (klucz zaczynający się od "apify_api_").
Ustaw zmienną środowiskową APIFY_API_TOKEN, eksportując pobrany token w swoim terminalu lub środowisku wykonawczym.
Przygotuj plik JSON z parametrami scrapingu — określ startowe adresy URL, maksymalną liczbę stron do przeszukania i funkcję przetwarzającą (pageFunction), która wyodrębni potrzebne dane ze strony, na przykład tytuł, URL czy inne elementy HTML.
Wyślij żądanie POST do API Apify, przekazując plik konfiguracyjny i token autoryzacji — użyj bash -c z curliem, aby uniknąć problemów z zmiennymi środowiskowymi w potokach.
Z odpowiedzi wyodrębnij identyfikator uruchomienia (run ID) i identyfikator zestawu danych (defaultDatasetId), które posłużą do pobrania wyników scrapingu.
Pobierz wyniki ze skraperowania, wysyłając żądanie GET do API z identyfikatorem zestawu danych — otrzymasz ustrukturyzowane dane w formacie JSON, gotowe do dalszego przetwarzania lub analizy.