Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Cette section décrit les fonctionnalités de surveillance et d’observabilité pour les pipelines déclaratifs Spark Lakeflow.
| Sujet | Descriptif |
|---|---|
| Surveiller à l’aide de l’interface utilisateur | Observez la progression et l’état des mises à jour du pipeline et alertez sur la réussite ou l’échec. Affichez les métriques pour les sources de diffusion en continu, telles qu’Apache Kafka et le chargeur automatique. |
| Journal des événements | Extrayez des informations détaillées sur les mises à jour de pipeline, telles que la traçabilité des données, les métriques de qualité des données et l’utilisation des ressources à l’aide du journal des événements du pipeline. En outre, consultez le schéma du journal des événements. |
| Historique des requêtes | Inspectez et diagnostiquez les performances des requêtes en examinant l’historique des requêtes. |
| Supervision personnalisée | Définissez des actions personnalisées à activer lorsque des événements spécifiques se produisent à l’aide de hooks d’événements. |
En outre, il existe des rubriques de résolution des problèmes pour des scénarios spécifiques.
| Sujet | Descriptif |
|---|---|
| Récupérer un pipeline à partir d’un échec de point de contrôle de streaming | Récupérez un pipeline dont le point de contrôle de flux est invalide ou corrompu. |
| Résolution des temps d’initialisation élevés dans les pipelines | Corrigez les temps d’initialisation élevés d’un pipeline en fractionnant les flux et en répartissant la charge entre plusieurs pipelines. |