web-multi-search
Przeszukuj sieć jednocześnie z pięcioma wyszukiwarkami i zbieraj wyniki ze wszystkich stron
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Umiejętność do równoczesnego przeszukiwania internetu za pomocą pięciu niezależnych wyszukiwarek: Bing, Yahoo, Startpage, Aol i Ask. Narzędzie wykorzystuje bibliotekę async-search-scraper do asynchronicznego pobierania wyników, pozwalając ci iterować przez wiele stron wyników z każdej wyszukiwarki. Możesz dostosować liczbę stron, wybór silników, ustawić proxy, zmienić format wyjścia (JSON, CSV, tekst) oraz usunąć duplikaty wyników według URL lub domeny. Idealne dla badań, agregacji danych i porównywania wyników wyszukiwania z różnych źródeł.
Jak używać
Upewnij się, że masz zainstalowany Python 3 i pip. Jeśli używasz Linuksa i pip nie jest dostępny, zainstaluj wymagane pakiety systemowe poleceniem: sudo apt-get update && sudo apt-get install -y python3-requests python3-aiohttp python3-aiohttp-socks python3-bs4.
Przejdź do katalogu umiejętności: cd skills/web-multi-search.
Zainstaluj zależności z pliku requirements.txt: python3 -m pip install -r requirements.txt.
Zainstaluj bibliotekę async-search-scraper bezpośrednio z repozytorium GitHub: python3 -m pip install git+https://github.com/soxoj/async-search-scraper.git --no-deps. Flaga --no-deps jest konieczna ze względu na konflikt w zależnościach biblioteki.
Uruchom wyszukiwanie z zapytaniem: python3 web_multi_search.py "twoje zapytanie". Domyślnie przeszukiwane są wszystkie dostępne wyszukiwarki, pobierane są 3 strony wyników z każdej, a wynik zwracany jest w formacie JSON.
Dostosuj wyszukiwanie za pomocą flag: użyj --pages aby zmienić liczbę stron (np. --pages 5), --engines aby wybrać konkretne wyszukiwarki (np. --engines bing,yahoo), --output aby zmienić format (json, csv lub text), --unique-urls lub --unique-domains aby usunąć duplikaty, oraz --proxy i --timeout dla zaawansowanych ustawień sieciowych.