Partager via


Surveiller la qualité du modèle et l’intégrité du point de terminaison

Service de modèles Databricks fournit des outils avancés pour superviser la qualité et l’intégrité des modèles et de leurs déploiements. Le tableau suivant fournit une vue d’ensemble de chaque outil de surveillance disponible.

Outil Description Objectif Accès
Journaux de service Capture stdout et stderr diffuse à partir du point de terminaison de mise en service du modèle. Utile pour le débogage pendant le déploiement du modèle. Utilisez logging.warning(...) ou logging.error(...) affichez immédiatement les journaux. Accessible via l’onglet Journaux d’activité dans l’interface utilisateur de Serving. Les journaux sont diffusés en temps réel et peuvent être exportés via l’API.
Journaux de génération Affiche la sortie du processus qui crée automatiquement un environnement Python prêt pour la production pour le point de terminaison de mise en service du modèle. Utile pour diagnostiquer les problèmes de déploiement et de dépendance du modèle. Disponible à la fin de la construction du service de modèle sous Journaux de génération, sous l’onglet Journaux d’activité. Les journaux d’activité peuvent être exportés via l’API. Ces journaux sont conservés pendant jusqu’à trente (30) jours.
Métriques d’intégrité du point de terminaison Fournit des insights sur les métriques d’infrastructure telles que la latence, le taux de requêtes, le taux d’erreur, l’utilisation du processeur et l’utilisation de la mémoire. Important pour comprendre les performances et l’intégrité de l’infrastructure de service. Disponible par défaut dans l’interface utilisateur de Serving pour les 14 derniers jours. Les données peuvent également être diffusées vers des outils d’observabilité en temps réel.
Tables d’inférence compatibles avec la passerelle IA Enregistre automatiquement les demandes et réponses de prédiction en ligne dans des tables Delta gérées par le catalogue Unity pour les points de terminaison qui servent des modèles personnalisés, des modèles externes ou des charges de travail de débit approvisionnées. Utilisez cet outil pour surveiller et déboguer la qualité ou les réponses du modèle, générer des jeux de données d’entraînement ou effectuer des audits de conformité. Peut être activé pour les points de terminaison de service existants et nouveaux lors de l’activation des fonctionnalités de passerelle AI à l’aide de l’interface utilisateur de Serving ou de l’API REST.

Conseil / Astuce

Utilisez ces outils de surveillance pour identifier les goulots d’étranglement des performances et optimiser vos points de terminaison. Pour obtenir des stratégies d’optimisation complètes, consultez Optimiser les points de terminaison de service de modèle pour la production.

Ressources supplémentaires