web-scraper
Wyciągaj strukturalne dane z dowolnych stron internetowych – bez kodowania
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Skonfigurowalny serwis scrapingu stron. Automatycznie ekstrahuj dane produktów, ofert nieruchomości, ogłoszeń o pracę i postów z mediów społecznych w formacie CSV, JSON lub Excel. Narzędzie obsługuje zarówno strony statyczne, jak i dynamiczne wymagające JavaScript. Wbudowane zabezpieczenia przed blokowaniem – randomizacja opóźnień i rotacja User-Agent. Idealne dla agencji, analityków danych i firm e-commerce, które potrzebują regularnych aktualizacji informacji z publicznych źródeł.
Jak używać
Zainstaluj wymagane biblioteki: npm install puppeteer cheerio. Puppeteer obsługuje strony dynamiczne (wymagające JavaScript), cheerio służy do parsowania HTML stron statycznych.
Przygotuj URL strony docelowej i określ, jakie dane chcesz wyciągnąć – nazwy produktów, ceny, obrazy, opisy, adresy, dane kontaktowe lub inne elementy widoczne na stronie.
Dla stron statycznych użyj prostego polecenia: "Wyciągnij wszystkie nazwy produktów z [URL]" lub "Ekstrahuj ceny i opisy z [strona]". Narzędzie automatycznie pobierze HTML i wyodrębni żądane dane.
Dla stron dynamicznych, które ładują zawartość przez JavaScript, określ szczegółowo: URL, listę pól do ekstrakcji (np. name, price, image, description), maksymalną liczbę stron do przetworzenia oraz format wyjściowy (CSV, JSON lub Excel).
Narzędzie automatycznie stosuje ochronę przed blokowaniem – dodaje losowe opóźnienia między żądaniami (2–5 sekund) i rotuje User-Agent, aby uniknąć wykrycia przez systemy anty-bot.
Otrzymasz dane w wybranym formacie, gotowe do importu do bazy danych, arkusza kalkulacyjnego lub systemu analitycznego.