Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ważne
Usługa Databricks zaleca używanie platformy MLflow 3 do oceniania i monitorowania aplikacji GenAI. Na tej stronie opisano ocenę agenta MLflow 2.
- Aby zapoznać się z wprowadzeniem do oceny i monitorowania w usłudze MLflow 3, zobacz Ocena i monitorowanie agentów sztucznej inteligencji.
- Aby uzyskać informacje na temat migracji do platformy MLflow 3, zobacz Migrowanie do platformy MLflow 3 z wersji ewaluacyjnej agenta.
- Aby uzyskać informacje dotyczące platformy MLflow 3 w tym temacie, zobacz Ocena i monitorowanie agentów sztucznej inteligencji.
W poniższym notatniku pokazano, jak ocenić aplikację generatywnej sztucznej inteligencji przy użyciu zastrzeżonych sędziów LLM Agent Evaluation, niestandardowych metryk i etykiet od ekspertów z dziedziny. Demonstruje on następujące kwestie:
- Jak załadować dzienniki produkcyjne (ślady) do zestawu danych oceny.
- Jak przeprowadzić ocenę i analizę pierwotnej przyczyny.
- Jak utworzyć metryki niestandardowe w celu automatycznego wykrywania problemów z jakością.
- Jak wysyłać dzienniki produkcyjne dla MŚP, aby oznaczyć i rozwijać zestaw danych oceny.
Aby przygotować agenta do przedprodukcji, zobacz notes demonstracyjny agenta Mozaiki AI. Aby uzyskać ogólne informacje, zapoznaj się z Mosaic AI Agent Evaluation (MLflow 2).