firecrawl-load-scale
Testuj wydajność i skaluj pipelines scrapingu Firecrawl z kontrolą współbieżności
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Skill do testowania obciążenia i optymalizacji przepustowości scrapingu Firecrawl. Pozwala zmierzyć wydajność baseline'u, zaplanować pojemność dla dużych zadań crawlingu oraz maksymalizować przepustowość w ramach limitów planu (RPM i połączeń równoczesnych). Obsługuje batch scraping, asynchroniczne crawle i zarządzanie kolejką żądań. Używaj gdy testujesz przepustowość, konfigurujesz skalowanie poziome lub optymalizujesz wydajność współbieżnych scrapów.
Jak używać
Zainstaluj skill w swoim środowisku Claude Code, Codex lub OpenClaw. Upewnij się, że masz dostęp do Node.js i npm, oraz że zmienna środowiskowa FIRECRAWL_API_KEY jest ustawiona na Twój klucz API Firecrawl.
Wyzwól skill frazami takimi jak "firecrawl load test", "firecrawl scale", "firecrawl throughput", "firecrawl capacity" lub "firecrawl concurrent", aby uaktywnić funkcjonalność testowania i skalowania.
Przygotuj listę adresów URL, które chcesz testować. Skill zmierzy baseline'ową przepustowość, przetwarzając adresy URL w partiach o określonym poziomie współbieżności i rejestrując czas trwania, sukces i liczbę znaków dla każdego żądania.
Skonfiguruj poziom współbieżności na podstawie Twojego planu Firecrawl (Free: 2 połączenia, Hobby: 3, Standard: 5, Growth: 10, Scale: 50+). Skill automatycznie będzie respektować limity RPM (żądań na minutę) dla Twojego planu.
Przeanalizuj wyniki, aby zaplanować pojemność dla dużych zadań crawlingu. Skill dostarczy metryki wydajności, które pomogą Ci zdecydować, czy zwiększyć współbieżność, zmienić rozmiar partii czy uaktualnić plan.
Zastosuj rekomendacje skalowania, takie jak batch scraping lub asynchroniczne crawle, aby zmaksymalizować przepustowość w ramach limitów Twojego planu.