langfuse-rate-limits

Skill do zarządzania limitami szybkości w Langfuse. Implementuje optymalizację batching SDK, exponential backoff z jitter, ograniczanie równoczesnych żądań i próbkowanie dla obciążeń obserwacyjnych o bardzo wysokim wolumenie. Używaj gdy obsługujesz błędy 429, optymalizujesz pozyskiwanie śladów lub zarządzasz tysiącami zdarzeń na minutę w systemach obserwacyjnych LLM.

1. Upewnij się, że masz zainstalowany i skonfigurowany SDK Langfuse oraz obciążenie śladów powyżej 1000 zdarzeń na minutę. 2. Skonfiguruj batching SDK — dla wersji v3 ustaw flushAt na 50 zdarzeń i flushInterval na 10000 ms, dla v4+ użyj LangfuseSpanProcessor z exportIntervalMillis i maxExportBatchSize. 3. Wdrożyć retry z exponential backoff dla niestandardowych wywołań API (scores, datasets, prompts) — funkcja withRetry automatycznie ponawiać żądania z opóźnieniem rosnącym wykładniczo. 4. Ograniczyć równoczesne żądania za pomocą queue'a lub semafora, aby uniknąć jednoczesnego wysyłania zbyt wielu batchy. 5. Dla ultra-wysokich wolumenów włączyć próbkowanie zdarzeń — wysyłaj tylko procent śladów do Langfuse, zachowując reprezentatywne dane. 6. Monitoruj odpowiedzi API na błędy 429 i dostosuj ustawienia batching lub próbkowania jeśli limity są nadal osiągane.