embedding-strategies
Wybieraj i optymalizuj modele embeddingów dla wyszukiwania semantycznego i aplikacji RAG
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Skill do wyboru i konfiguracji modeli embeddingów dla aplikacji wyszukiwania wektorowego. Pomaga w wyborze odpowiedniego modelu (OpenAI, Voyage, BGE czy open-source), optymalizacji strategii chunking dokumentów, dostrajaniu embeddingów dla konkretnych dziedzin oraz porównywaniu wydajności różnych podejść. Zawiera szablony kodu dla integracji z OpenAI i wskazówki dotyczące obsługi treści wielojęzycznej, redukcji wymiarów oraz przetwarzania dużych zbiorów tekstu.
Jak używać
Zidentyfikuj swój przypadek użycia: określ, czy potrzebujesz wysokiej dokładności (text-embedding-3-large), niskich kosztów (text-embedding-3-small), obsługi kodu i dokumentów prawnych (voyage-2), rozwiązania open-source (bge-large-en-v1.5) czy lekkiego modelu (all-MiniLM-L6-v2). Jeśli pracujesz z treścią wielojęzyczną, wybierz multilingual-e5-large.
Przygotuj dokumenty do embeddingu, dzieląc je na fragmenty (chunking). Ustal rozmiar fragmentu i stopień ich nakładania się w zależności od długości dokumentów i wymagań aplikacji. Skill zawiera wytyczne dotyczące optymalnych rozmiarów dla różnych typów treści.
Oczyszcz i znormalizuj tekst przed embeddingiem — usuń zbędne znaki, znormalizuj białe znaki i przygotuj dane w formacie akceptowanym przez wybrany model.
Użyj szablonu OpenAI Embeddings do generowania wektorów: załaduj bibliotekę OpenAI, zdefiniuj funkcję get_embeddings() z obsługą batching (przetwarzanie po 100 tekstów naraz) i wybierz model oraz opcjonalnie wymiar wyjściowy.
Porównaj wydajność modeli na twoim zbiorze danych — oceń dokładność wyszukiwania, czas przetwarzania i koszty dla każdego kandydata, aby wybrać najlepszy kompromis dla twojej aplikacji.