openrouter-fallback-config

Umożliwia budowanie odpornych systemów LLM z automatycznym przełączaniem na modele zapasowe. Gdy główny model jest niedostępny lub zwraca błąd, żądanie automatycznie przechodzi do następnego modelu w łańcuchu. Obsługuje natywne fallback OpenRouter, parametry per-model oraz client-side retry z kontrolą timeoutów. Zmniejsza przestoje podczas awarii dostawców i poprawia dostępność całego systemu.

1. Upewnij się, że masz skonfigurowaną integrację OpenRouter i zidentyfikowane co najmniej dwa modele — jeden główny i jeden lub więcej zapasowych.

2. Użyj natywnego fallback OpenRouter, przekazując tablicę identyfikatorów modeli w polu models zamiast model — OpenRouter będzie próbować każdy z nich po kolei, aż jeden się powiedzie.

3. Ustaw strategię fallback w polu route na wartość "fallback", aby OpenRouter obsługiwał failover automatycznie bez dodatkowego kodu po stronie klienta.

4. Skonfiguruj timeout dla każdej próby, ustawiając request_timeout — dzięki temu wolne modele szybko się nie powiodą i system przejdzie do następnego w łańcuchu bez zbędnych opóźnień.

5. Przetestuj łańcuch fallback, tymczasowo używając nieprawidłowego identyfikatora modelu jako głównego — powinnaś zobaczyć, że system automatycznie przechodzi do modeli zapasowych i żądanie się powiedzie.

6. Monitoruj logi, aby sprawdzić, który model obsłużył każde żądanie, i dodaj więcej różnorodnych fallback'ów z różnych dostawców, jeśli cały łańcuch się wyczerpie.