dust-llm
Przewodnik krok po kroku do integracji nowych modeli LLM w platformie Dust
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Skill dust-llm to szczegółowy poradnik dla deweloperów, którzy chcą dodać obsługę nowego modelu językowego do systemu Dust lub zaktualizować istniejący. Zawiera listę plików do modyfikacji, wymagane informacje o modelu (ID, rozmiar kontekstu, ceny, możliwości) oraz konkretne kroki implementacji. Przewodnik pokazuje praktyczny przykład dodawania modelu OpenAI, obejmujący konfigurację, ustawienie cen tokenów, rejestrację w centralnym rejestrze, aktualizację routera i testów integracyjnych.
Jak używać
Zbierz wymagane informacje o nowym modelu: dokładne ID modelu od dostawcy (np. gpt-4-turbo-2024-04-09), rozmiar okna kontekstu w tokenach, koszty za milion tokenów dla wejścia i wyjścia, obsługiwane możliwości (wizja, strukturyzowane wyjście, poziomy reasoning effort) oraz kompatybilny tokenizer do liczenia tokenów.
Edytuj plik konfiguracyjny modelu dla danego dostawcy (np. front/types/assistant/models/openai.ts), dodając stałą z ID modelu oraz obiekt konfiguracji zawierający providerId, modelId, displayName, contextSize, opis, informacje o obsługiwanych funkcjach i parametry reasoning effort.
Zaktualizuj plik front/lib/api/assistant/token_pricing.ts, dodając ceny za milion tokenów dla wejścia i wyjścia nowego modelu.
Zarejestruj model w centralnym rejestrze w pliku front/types/assistant/models/models.ts, aby był dostępny w całej aplikacji.
Dodaj model do routera whitelist w pliku front/lib/api/llm/clients/{provider}/types.ts oraz zaktualizuj typy SDK w sdks/js/src/types.ts.
Opcjonalnie: jeśli model powinien być dostępny w interfejsie użytkownika, dodaj go do front/components/providers/types.ts, a następnie dodaj test integracyjny w front/lib/api/llm/tests/llm.test.ts, aby upewnić się, że model działa poprawnie.