sentencepiece

SentencePiece to nienadzorowany tokenizer pracujący bezpośrednio na surowym tekście Unicode, bez konieczności przygotowania danych dla konkretnego języka. Obsługuje algorytmy BPE i Unigram, działa z prędkością 50 tys. zdań na sekundę i zajmuje zaledwie 6 MB pamięci. Narzędzie gwarantuje deterministyczny słownik – zawsze ten sam wynik dla tych samych danych wejściowych. Używane przez modele T5, ALBERT, XLNet i mBART. Idealne do budowania systemów wielojęzycznych, pracy z językami azjatyckimi (chińskim, japońskim, koreańskim) oraz gdy potrzebujesz powtarzalnych wyników tokenizacji.

1. Zainstaluj SentencePiece za pomocą pip: uruchom polecenie pip install sentencepiece w terminalu. Upewnij się, że masz zainstalowany Python 3.6 lub nowszy.

2. Przygotuj plik tekstowy zawierający dane treningowe (np. data.txt). Tekst powinien być surowy – SentencePiece sam obsługuje Unicode i nie wymaga wstępnego tokenizowania ani czyszczenia.

3. Wytrenuj model tokenizera za pomocą API Pythona: zaimportuj moduł sentencepiece, a następnie użyj SentencePieceTrainer.train() z parametrami: input='data.txt' (ścieżka do pliku), model_prefix='m' (prefiks nazwy modelu), vocab_size=8000 (rozmiar słownika – dostosuj do swoich potrzeb) i model_type='bpe' (algorytm BPE dla większości przypadków).

4. Po treningu otrzymasz dwa pliki: m.model (wytrenowany model) i m.vocab (słownik). Przechowuj je w bezpiecznym miejscu – będą potrzebne do tokenizacji.

5. Załaduj model i tokenizuj nowy tekst: zaimportuj sentencepiece, otwórz model poleceniem spm.SentencePieceProcessor() i metodą load() wskaż ścieżkę do m.model, następnie użyj encode() do konwersji tekstu na tokeny lub decode() do odwrotnej operacji.

6. Jeśli pracujesz z wieloma językami lub językami CJK, nie zmieniaj ustawień domyślnych – SentencePiece automatycznie obsługuje wszystkie znaki Unicode bez dodatkowej konfiguracji.