A
azure-ai-evaluation-py
Oceniaj jakość i bezpieczeństwo aplikacji AI za pomocą wbudowanych i niestandardowych ewaluatorów
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Azure AI Evaluation SDK to narzędzie do Python, które pozwala systematycznie oceniać wydajność generatywnych aplikacji AI. Dysponujesz wbudowanymi ewaluatorami jakości (takie jak GroundednessEvaluator, RelevanceEvaluator, CoherenceEvaluator), ewaluatorami bezpieczeństwa (Violence, Sexual, SelfHarm, HateUnfairness) oraz metrykach NLP (F1Score, ROUGE, BLEU). Możesz również tworzyć własne ewaluatory dostosowane do Twoich potrzeb. SDK integruje się z Azure OpenAI do oceny wspomaganej AI i wspiera zdalne ewaluacje.
Jak używać
- Zainstaluj pakiet Azure AI Evaluation za pomocą pip install azure-ai-evaluation. Jeśli planujesz używać zdalnych ewaluacji, dodaj opcję [remote]: pip install azure-ai-evaluation[remote].
- Skonfiguruj zmienne środowiskowe dla Azure OpenAI: ustaw AZURE_OPENAI_ENDPOINT, AZURE_OPENAI_API_KEY i AZURE_OPENAI_DEPLOYMENT (np. gpt-4o-mini). Jeśli integrujesz się z Foundry, dodaj AIPROJECT_CONNECTION_STRING.
- Zaimportuj wybrany ewaluator z azure.ai.evaluation. Dla oceny jakości wspomaganej AI wybierz GroundednessEvaluator, RelevanceEvaluator, CoherenceEvaluator, FluencyEvaluator, SimilarityEvaluator lub RetrievalEvaluator. Dla metryk NLP użyj F1ScoreEvaluator, RougeScoreEvaluator, BleuScoreEvaluator lub innych.
- Utwórz konfigurację modelu zawierającą dane dostępu do Azure OpenAI (azure_endpoint, api_key, azure_deployment).
- Zainicjalizuj wybrany ewaluator, przekazując konfigurację modelu: groundedness = GroundednessEvaluator(model_config).
- Uruchom ewaluację na Twoich danych, przekazując odpowiednie dane wejściowe do metody ewaluatora, aby otrzymać metryki jakości i bezpieczeństwa aplikacji.