Toolverse
Wszystkie skille

processing-api-batches

autor: jeremylongshore

Przetwarzaj masowe żądania API efektywnie dzięki batchingowi i kontroli równoległości

Instalacja

Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.

Instalacja

O skillu

Skill do optymalizacji operacji API na dużą skalę. Umożliwia wysyłanie wielu żądań w jednym zapytaniu, wykonywanie ich równolegle z kontrolą przepustowości oraz śledzenie postępu przetwarzania. Obsługuje obsługę częściowych błędów i zwraca wyniki dla każdej operacji osobno. Idealny dla deweloperów, którzy muszą przetwarzać tysiące operacji API bez obciążania serwera.

Jak używać

  1. Zainstaluj skill processing-api-batches w swoim środowisku Claude Code, Codex lub OpenClaw. Upewnij się, że Twoja infrastruktura spełnia wymagania: framework webowy obsługujący duże ciała żądań (co najmniej 10MB), baza danych z wsparciem dla operacji zbiorczych oraz system kolejki asynchronicznej (Bull/BullMQ dla Node.js, Celery dla Pythona lub SQS).

  2. Przeanalizuj istniejące endpointy API, aby zidentyfikować operacje, które są wywoływane wielokrotnie w pętlach przez klientów. Są to główne kandydaci do konwersji na warianty batchowe. Użyj polecenia Grep i Read do przeszukania kodu.

  3. Zaprojektuj format żądania batchowego: endpoint POST /batch powinien akceptować tablicę operacji w ciele żądania. Każda operacja zawiera metodę HTTP, ścieżkę, ciało żądania oraz opcjonalny identyfikator klienta do korelacji wyników, np. {operations: [{method: "POST", path: "/users", body: {...}, id: "op1"}]}.

  4. Dla małych batchów (poniżej 100 elementów) zaimplementuj synchroniczne przetwarzanie: zwaliduj wszystkie elementy, wykonaj je w transakcji bazodanowej i zwróć wyniki dla każdego elementu z statusem powodzenia lub błędu.

  5. Dla dużych batchów (powyżej 100 elementów) użyj systemu kolejki do asynchronicznego przetwarzania. Zwróć identyfikator zadania klientowi, który może następnie odpytywać endpoint statusu, aby śledzić postęp za pomocą magazynu Redis.

  6. Wyzwól skill frazami takimi jak "process bulk requests", "batch API calls" lub "handle batch operations" w kontekście pracy z dużymi zbiorami danych API.

Podobne skille