nemo-guardrails

NeMo Guardrails to framework bezpieczeństwa od NVIDIA, który chroni aplikacje oparte na modelach językowych. Wykrywa próby obejścia instrukcji, waliduje wejście i wyjście, filtruje dane osobowe, detektuje halucynacje i toksyczne treści. Konfiguruje się za pomocą języka Colang 2.0, gotowy do produkcji i działa na GPU T4.

1. Zainstaluj pakiet NeMo Guardrails poleceniem pip install nemoguardrails w swoim środowisku Python.

2. Zdefiniuj konfigurację bezpieczeństwa za pomocą Colang 2.0 DSL — opisz wzorce niebezpiecznych pytań użytkownika (np. "How do I hack") i odpowiedzi bota, które powinny być blokowane (np. "I cannot help with illegal activities").

3. Utwórz obiekt RailsConfig z zawartością swojej konfiguracji, używając metody from_content() i przekazując tekst definicji przepływów.

4. Inicjalizuj LLMRails, przekazując skonfigurowany obiekt RailsConfig — to opakowuje Twój model i dodaje walidację w czasie rzeczywistym.

5. Zamiast wywoływać model bezpośrednio, użyj metody generate() na obiekcie rails, przekazując wiadomości użytkownika — framework automatycznie sprawdzi je względem zdefiniowanych reguł i zablokuje niebezpieczne zapytania lub odpowiedzi.