sentence-transformers

Sentence Transformers to framework oparty na PyTorch do tworzenia wysokiej jakości osadzeń zdań, tekstu i obrazów. Masz dostęp do ponad 5000 wstępnie wytrenowanych modeli wspierających ponad 100 języków, w tym polszczyznę. Narzędzie doskonale sprawdza się w systemach RAG, wyszukiwaniu semantycznym, klastrowaniu tekstu i zadaniach podobieństwa. Uruchamiasz go lokalnie na swoim sprzęcie — bez zależności od API ani kosztów subskrypcji. Wybieraj między modelami ogólnego przeznaczenia a specjalistycznymi dla konkretnych dziedzin.

1. Zainstaluj framework poleceniem pip install sentence-transformers. Wymaga PyTorch i biblioteki transformers — instalator pobierze je automatycznie.
2. Załaduj wybrany model, np. all-MiniLM-L6-v2 (szybki, lekki) lub all-mpnet-base-v2 (dokładniejszy). Wywołaj SentenceTransformer('nazwa-modelu') — przy pierwszym uruchomieniu model pobierze się z huggingface.co.
3. Przygotuj listę tekstów do osadzenia (zdania, paragrafy, dokumenty). Przekaż je metodzie model.encode(lista_tekstów) — otrzymasz macierz wektorów.
4. Oblicz podobieństwo między osadzeniami za pomocą cos_sim() z modułu sentence_transformers.util. Wynik to wartość od 0 do 1 — im bliżej 1, tym bardziej podobne teksty.
5. Użyj osadzeń w systemie RAG: indeksuj dokumenty wektorami, a przy zapytaniu użytkownika porównaj jego osadzenie z bazą — zwróć najbardziej podobne dokumenty jako kontekst dla LLM.
6. Dla wielojęzyczności wybierz model z prefiksem multilingual- (np. multilingual-e5-base) — obsługuje 100+ języków w jednym modelu, bez potrzeby tłumaczenia.