vector-index-tuning
Dostrajaj indeksy wektorowe do maksymalnej wydajności – szybciej, dokładniej, z mniejszym zużyciem pamięci.
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Umiejętność do optymalizacji wydajności indeksów wektorowych w systemach wyszukiwania. Pomagamy ci wybrać właściwy typ indeksu (HNSW, IVF, DiskANN), dostroić parametry M i efSearch, oraz wdrożyć kwantyzację danych. Niezależnie od tego, czy pracujesz z tysiącami czy miliardami wektorów, nauczysz się balansować między szybkością wyszukiwania, dokładnością wyników a zużyciem pamięci RAM. Zawiera szablony do benchmarkowania konfiguracji HNSW i porównywania strategii kompresji danych.
Jak używać
Zainstaluj umiejętność w swoim środowisku agenta – pobierz pliki z repozytorium wshobson/agents w katalogu skills/vector-index-tuning.
Przygotuj dane wejściowe: zbiór wektorów (np. embeddingi tekstowe), zestaw zapytań testowych oraz dane referencyjne (ground truth) do oceny dokładności wyszukiwania.
Wybierz typ indeksu na podstawie rozmiaru danych – dla poniżej 10 tys. wektorów użyj Flat (wyszukiwanie dokładne), dla 10 tys.–1 mln wektorów HNSW, dla większych zbiorów dodaj kwantyzację lub przejdź na IVF+PQ.
Uruchom benchmarking parametrów HNSW, testując różne wartości M (liczba połączeń na węzeł), efConstruction (jakość budowy indeksu) i efSearch (jakość wyszukiwania) – wyższa wartość M i ef daje lepszą dokładność, ale więcej pamięci i wolniej.
Porównaj strategie kwantyzacji (FP32, FP16, INT8, Product Quantization, Binary) – każda zmniejsza rozmiar indeksu, ale wpływa na dokładność wyników.
Wdróż wybraną konfigurację w produkcji i monitoruj opóźnienia wyszukiwania oraz recall (procent poprawnie znalezionych wyników) – dostrajaj parametry na podstawie rzeczywistych metryk.