guidance

Guidance to framework od Microsoft Research, który pozwala Ci narzucić strukturę na generowane przez modele AI teksty. Zamiast liczyć na szczęście, że model zwróci prawidłowy JSON czy kod, możesz wymusić format za pomocą gramatyk i wyrażeń regularnych. Narzędzie wspiera OpenAI, Claude, modele z Hugging Face i llama.cpp. Skraca opóźnienia w stosunku do tradycyjnego promptowania i umożliwia budowanie złożonych, wieloetapowych przepływów pracy z kontrolą na poziomie Pythona.

1. Zainstaluj Guidance za pomocą pip install guidance. Jeśli planujesz pracować z modelami Hugging Face, dodaj [transformers]: pip install guidance[transformers]. Dla llama.cpp użyj pip install guidance[llama_cpp].

2. Zaimportuj niezbędne komponenty: from guidance import models, gen, system, user, assistant. Moduł gen służy do definiowania miejsc, w których model powinien generować tekst, a context managery (system, user, assistant) pomagają strukturyzować konwersacje.

3. Załaduj wybrany model. Dla OpenAI: lm = models.OpenAI("gpt-4"). Dla Claude: lm = models.Anthropic("claude-sonnet-4-5-20250929"). Guidance automatycznie obsługuje uwierzytelnianie na podstawie zmiennych środowiskowych.

4. Zdefiniuj szablon z ograniczeniami. Użyj operatora + do łączenia tekstu statycznego z gen() dla miejsc generacji. Na przykład: result = lm + "Stolica Francji to " + gen("capital", max_tokens=5). Parametr max_tokens ogranicza długość odpowiedzi.

5. Dla bardziej złożonych scenariuszy wykorzystaj context managery. Opakuj instrukcje systemu w with system():, pytania użytkownika w with user():, a oczekiwane odpowiedzi w with assistant():. To zapewnia prawidłowy format dla modeli opartych na czacie.

6. Uruchom kod i dostęp do wyników. Zwrócony obiekt zawiera wszystkie zmienne zdefiniowane w gen() jako klucze słownika. Na przykład result["capital"] zwróci wygenerowaną wartość. Guidance gwarantuje, że output będzie zgodny z narzuconymi ograniczeniami.