openrouter-caching-strategy

Skill do implementacji cachowania odpowiedzi z OpenRouter, które obniża koszty i zmniejsza opóźnienia przy powtarzających się zapytaniach. Obsługuje cachowanie w pamięci, trwałe cachowanie z TTL oraz prompt caching Anthropic. Idealny dla systemów RAG i aplikacji wysyłających identyczne lub podobne żądania do modeli LLM. Aktywuj słowami kluczowymi: 'openrouter cache', 'cache llm responses', 'reduce openrouter cost'.

1. Zainstaluj skill w swoim projekcie Claude Code lub Codex, upewniając się, że masz dostęp do narzędzi Read, Write, Edit, Bash i Grep.

2. Skonfiguruj zmienną środowiskową OPENROUTER_API_KEY z Twoim kluczem API OpenRouter oraz ustaw nagłówki HTTP (HTTP-Referer i X-Title) wskazujące na Twoją aplikację.

3. Zainicjalizuj klasę LLMCache z wybranym czasem wygaśnięcia (TTL) — domyślnie 3600 sekund. Klasa automatycznie zarządza pamięcią podręczną i śledzi liczbę trafień i chybień.

4. Przed wysłaniem żądania do OpenRouter sprawdź cache za pomocą metody get(), przekazując model, listę wiadomości i dodatkowe parametry (np. temperature). Jeśli odpowiedź znajduje się w cache i nie wygasła, zostanie zwrócona natychmiast.

5. Jeśli żądanie nie znajduje się w cache, wyślij je do OpenRouter normalnie, a następnie zapisz wynik w cache za pomocą metody set() — zapewnia to, że kolejne identyczne zapytania będą obsługiwane z cache'u.

6. Monitoruj wydajność cache'u, sprawdzając właściwości hits i misses klasy LLMCache — wysoki stosunek trafień wskazuje na efektywne zmniejszenie kosztów API.