Bewaking en observeerbaarheid voor Lakeflow-jobs

In dit artikel worden de functies beschreven die beschikbaar zijn in de Gebruikersinterface van Azure Databricks om taken weer te geven die u kunt openen, een geschiedenis van uitvoeringen voor taken weer te geven en details van taakuitvoeringen weer te geven. Zie Meldingen toevoegen aan een taakom meldingen voor taken te configureren.

Voor meer informatie over het gebruik van de Databricks CLI om taken weer te geven en taken uit te voeren, voert u de CLI-opdrachten databricks jobs list -huit, databricks jobs get -hen databricks jobs run-now -h. Zie de Taken-API voor meer informatie over het gebruik van de Jobs-API.

Als u toegang hebt tot het system.lakeflow schema, kunt u ook records van taakuitvoeringen en taken vanuit uw account bekijken en er query's op uitvoeren. Zie naslaginformatie over de systeemtabel Jobs. U kunt ook de systeemtabellen voor taken samenvoegen met factureringstabellen om de kosten van taken in uw account te bewaken. Zie Beoordeel taakkosten & prestatie met systeemtabellen.

Vacatures en pijplijnen weergeven

Klik op het om de lijst met taken weer te geven waar u toegang toe hebt.Taken en pijplijnen in de zijbalk. Het tabblad Jobs & pijplijnen in de Lakeflow Jobs-gebruikersinterface toont informatie over alle beschikbare taken en pijplijnen, zoals de maker, de trigger (indien aanwezig) en het resultaat van de laatste vijf uitvoeringen.

Als u de kolommen in de lijst wilt wijzigen, klikt u op het en selecteert of deselecteert u kolommen.

U kunt taken filteren in de lijst Taken en pijplijnen , zoals wordt weergegeven in de volgende schermopname.

1. Zoeken in tekst: trefwoorden zoeken wordt ondersteund voor de velden Naam en Taak-id . Als u wilt zoeken naar een tag die is gemaakt met een sleutel en waarde, kunt u zoeken op de sleutel, de waarde of zowel de sleutel als de waarde. Voor een tag met de sleutel department en de waarde financekunt u bijvoorbeeld zoeken department naar of finance zoeken naar overeenkomende taken. Als u wilt zoeken op de sleutel en waarde, voert u de sleutel en waarde in, gescheiden door een dubbele punt (bijvoorbeeld department:finance).
2. Type: selecteer alleen taken, pijplijnen of alles.
3. Eigenaar: selecteer alleen de taken of pijplijnen waarvan u de eigenaar bent.
4. Favorieten: selecteer alle banen of pijplijnen die u als favorieten gemarkeerd heeft.
5. Tags: Tags gebruiken. Als u op tag wilt zoeken, kunt u de vervolgkeuzelijst tags gebruiken om op hetzelfde moment te filteren op maximaal vijf tags of om rechtstreeks de trefwoordzoekopdracht te gebruiken.
6. Uitvoeren als: Filteren op maximaal twee run as waarden.

Als u een taak of pijplijn wilt starten, klikt u op de afspeelknop afspelen. Als u een werkstroom wilt stoppen, klikt u op de knop. Als u toegang wilt krijgen tot andere acties, klikt u op het . U kunt bijvoorbeeld de werkstroom verwijderen of instellingen voor een pijplijn openen vanuit dit menu.

Weergave van uitvoeringen voor één taak

U kunt een lijst weergeven met momenteel uitgevoerde en onlangs voltooide uitvoeringen voor een taak waartoe u toegang hebt, inclusief uitvoeringen die zijn gestart door externe indelingshulpprogramma's zoals Apache Airflow of Azure Data Factory. De lijst met recente taakuitvoeringen weergeven:

1. Klik in de zijbalk van uw Azure Databricks-werkruimte op Jobs & Pipelines.

2. Selecteer desgewenst de filters Werk en Van mij.

3. Klik op de koppeling Naam van uw taak.

   Het tabblad Uitvoeringen wordt weergegeven met matrix- en lijstweergaven van actieve en voltooide uitvoeringen.

In de matrixweergave ziet u een geschiedenis van uitvoeringen voor de taak, inclusief elke taaktaak.

In de matrixrij Totale duur van de uitvoer worden de totale uitvoerduur en de uitvoerstaat weergegeven. Als u details van de uitvoering wilt weergeven, inclusief de begintijd, duur en status, plaatst u de muisaanwijzer op de balk in de rij Totale duur uitvoeren .

Elke cel in de rij Taken vertegenwoordigt een taak en de bijbehorende status van de taak. Als u details van elke taak wilt weergeven, inclusief de begintijd, duur, cluster en status, beweegt u de muisaanwijzer over de cel voor die taak.

De taakuitvoerings- en taakuitvoeringsbalken zijn in kleur gecodeerd om de status van de uitvoering aan te geven. Geslaagde uitvoeringen zijn groen. Mislukte uitvoeringen zijn rood, overgeslagen uitvoeringen zijn roze en wachtend op een nieuwe poging is geel. In behandeling, geannuleerd of time-out zijn grijs. De hoogte van de afzonderlijke taakuitvoerings- en taakuitvoeringsbalken geeft de uitvoeringsduur visueel aan.

Als u een verwachte voltooiingstijd hebt geconfigureerd, wordt in de matrixweergave een waarschuwing weergegeven wanneer de duur van een uitvoering de geconfigureerde tijd overschrijdt.

Standaard wordt in de lijstweergave voor uitvoeringen het volgende weergegeven:

• De begintijd voor de uitvoering.
• De run-id.
• Of de uitvoering nu is geactiveerd door een taakplanning of een API-aanvraag, of handmatig is gestart.
• De tijd die is verstreken voor een actieve taak of de totale uitvoeringstijd voor een voltooide uitvoering. Er wordt een waarschuwing weergegeven als de duur een geconfigureerde verwachte voltooiingstijd overschrijdt.
• De status van de uitvoering, In de wachtrij, In afwachting, Actief, Overgeslagen, Geslaagd, Mislukt, Verstreken, Annulerenof Geannuleerd.
• De foutcode waarmee de uitvoering is beëindigd.
• De uitvoeringsparameters.

Momenteel wordt bij actieve uitvoeringen een stopknop getoond. Als u alle actieve en in de wachtrij geplaatste uitvoeringen wilt stoppen, kunt u Uitvoeringen annuleren of Alle uitvoeringen in de wachtrij annuleren in de vervolgkeuzelijst selecteren.

Gebruik het voor aanvullende contextspecifieke acties, zoals het verwijderen van geregistreerde voltooide runs.

Als u toegang wilt krijgen tot contextspecifieke acties voor de run, klikt u op het (Bijvoorbeeld om een actieve run te stoppen of een voltooide run te verwijderen).

Als u de kolommen wilt wijzigen die worden weergegeven in de lijstweergave voor uitvoeringen, klikt u op kolommen en selecteert of deselecteert u deze.

Als u details voor een taakuitvoering wilt weergeven, klikt u op de koppeling voor de uitvoering in de kolom Begintijd in de lijstweergave voor uitvoeringen. Als u details wilt weergeven voor de meest recente geslaagde uitvoering van deze taak, klikt u op Ga naar de meest recente geslaagde uitvoering.

Azure Databricks onderhoudt een geschiedenis van uw taak tot 60 dagen. Als u taakuitvoeringen wilt behouden, raadt Databricks aan om resultaten te exporteren voordat ze verlopen. Zie De resultaten van de exporttaakuitvoering voor meer informatie.

Details van taakuitvoering weergeven

De pagina met taakuitvoeringsgegevens bevat taakuitvoer en koppelingen naar logboeken, inclusief informatie over het slagen of mislukken van elke taak in de taakuitvoering. U kunt de details van de taakuitvoering openen via het tabblad Uitvoeringen voor de taak.

Als u details van de taakuitvoering wilt weergeven op het tabblad Uitvoeringen , klikt u op de koppeling voor de uitvoering in de kolom Begintijd in de lijstweergave voor uitvoeringen. Als u wilt terugkeren naar het tabblad Runs voor de taak, klikt u op de waarde van de taak-id .

Taken met meerdere taken hebben bovendien een grafiek, tijdlijn en lijstweergave.

Grafiekweergave

Klik op een taakknooppunt in de grafiek om details van de taakuitvoering weer te geven, waaronder:

• Taakdetails, waaronder uitgevoerd als, hoe de taak is uitgevoerd, begintijd, eindtijd, duur en status.
• De broncode.
• Het cluster dat de taak heeft uitgevoerd en dat koppelingen naar de querygeschiedenis en logboeken biedt.
• Metrische gegevens voor de taak.

Tijdlijnweergave

Banen die uit meerdere taken bestaan, hebben een tijdlijnweergave om taken te identificeren die lang duren, het begrijpen van afhankelijkheden en overlappingen om problemen op te lossen en optimalisering van deze banen mogelijk te maken.

Lijstweergave

In de lijstweergave worden standaard de status, naam, type, resource, duur en afhankelijkheden weergegeven. U kunt kolommen toevoegen en verwijderen in deze weergave.

U kunt zoeken naar een taak op naam, filteren op taakstatus of taaktype en taken sorteren op status, naam of duur.

Klik op de waarde taak-id om terug te keren naar het tabblad Uitvoeringen voor de taak.

Hoe bepaalt Azure Databricks de taakuitvoeringsstatus?

Azure Databricks bepaalt of een taakuitvoering is geslaagd op basis van het resultaat van de bladtaken van de taak. Een bladtaak is een taak die geen downstreamafhankelijkheden heeft. Een taakuitvoering kan een van de volgende drie resultaten hebben:

• Geslaagd: alle taken zijn geslaagd.
• Geslaagd met fouten: sommige taken zijn mislukt, maar alle bladtaken zijn geslaagd.
• Mislukt: een of meer leaf-taken zijn mislukt.
• Overgeslagen: de taakuitvoering is overgeslagen (een taak kan bijvoorbeeld worden overgeslagen omdat u het maximum aantal gelijktijdige uitvoeringen voor uw taak of uw werkruimte hebt overschreden).
• Time-out: de uitvoering van de taak duurde te lang om te voltooien en er is een time-out opgetreden.
• Geannuleerd: de taakuitvoering is geannuleerd (bijvoorbeeld een gebruiker heeft de lopende uitvoering handmatig geannuleerd).

Metrische gegevens weergeven voor streamingtaken

Wanneer u details van de taakuitvoering bekijkt, kunt u gegevens ophalen over streamingworkloads met metrische gegevens over de streamingobservabiliteit in de gebruikersinterface van Taken. Deze metrische gegevens omvatten backlog seconden, achterstandsbytes, backlogrecords en backlog-bestanden voor bronnen die worden ondersteund door Spark Structured Streaming, waaronder Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub en Delta-tabellen. Metrische gegevens worden weergegeven als grafieken in het rechterdeelvenster wanneer u de uitvoeringsdetails voor een taak bekijkt. De metrische gegevens die in elke grafiek worden weergegeven, zijn maximumwaarden die per minuut worden geaggregeerd en kunnen maximaal 48 uur bevatten.

Elke streamingbron ondersteunt alleen specifieke metrische gegevens. Metrische gegevens die niet worden ondersteund door een streamingbron, zijn niet beschikbaar om weer te geven in de gebruikersinterface. In de volgende tabel ziet u de metrische gegevens die beschikbaar zijn voor ondersteunde streamingbronnen:

U kunt ook drempelwaarden opgeven voor elke metrische streaminggegevens en meldingen configureren als een stream een drempelwaarde overschrijdt tijdens een taakuitvoering. Zie Meldingen configureren voor trage taken.

Voor het weergeven van metrische streaminggegevens voor een taakuitvoering die gegevens streamt uit een van de ondersteunde structured streaming-bronnen:

1. Klik op de pagina Taakuitvoeringsgegevens op de taak waarvoor u metrische gegevens wilt weergeven.
2. Klik op het tabblad Metingen in het Taakuitvoeringsvenster.
3. Als u de grafiek voor een metrische waarde wilt openen, klikt u op naast de naam van de metrische waarde.
4. Als u de metrische gegevens voor een specifieke stroom wilt weergeven, voert u de stream-id in het Filter op stream_id tekstvak in. U vindt de stream-ID in de uitvoer voor de taakrun.
5. Als u de periode voor de metrische grafieken wilt wijzigen, gebruikt u de vervolgkeuzelijst tijd.
6. Als u door de streams wilt bladeren wanneer de run meer dan tien streams bevat, klikt u op Volgende of Vorige.

Beperkingen voor waarneembaarheid van streaming

• Metrische gegevens worden elke minuut bijgewerkt, tenzij een uitvoering meer dan vier streams heeft. Als een uitvoering meer dan vier streams heeft, worden de metrische gegevens elke vijf minuten bijgewerkt.
• Metrische gegevens worden alleen verzameld voor de eerste vijftig streams in elke uitvoering.
• Metrische gegevens worden verzameld met intervallen van één seconde. De metrische gegevens zijn mogelijk niet zichtbaar als uw triggerInterval instelling minder dan één seconde is.
• De meeste gegevensbronnen verzamelen standaard streaminggegevens. Voor anderen moet u deze functie echter inschakelen. Als uw gegevensbron geen streaminggegevens verzamelt, stelt u de spark.sql.streaming.metricsEnabled vlag in op True.

Uitvoeringsgeschiedenis van taken weergeven

De uitvoeringsgeschiedenis van een taak weergeven, inclusief geslaagde en mislukte uitvoeringen:

1. Klik op een taak op de pagina Met taakuitvoeringsgegevens . De pagina Details van taakuitvoering wordt weergegeven.
2. Selecteer de taakuitvoering in de vervolgkeuzelijst uitvoeringsgeschiedenis.

Uitvoeringsgeschiedenis van taken voor een For each taak weergeven

Het openen van de uitvoeringsgeschiedenis van een For each taak is hetzelfde als een standaard Lakeflow-taak. U kunt op het For each taakknooppunt op de pagina Taakuitvoeringsdetails of de bijbehorende cel in de matrixweergave klikken. In tegenstelling tot een standaardtaak worden de uitvoeringsdetails voor een For each taak echter weergegeven als een tabel met de iteraties van de geneste taak.

Als u alleen mislukte iteraties wilt weergeven, klikt u op Alleen mislukte iteraties.

Als u de uitvoer van een iteratie wilt weergeven, klikt u op de begin- of eindtijdwaarden van de iteratie.

Recente taakuitvoeringen voor alle taken weergeven

U kunt een lijst weergeven met momenteel uitgevoerde en onlangs voltooide uitvoeringen voor alle taken in een werkruimte waartoe u toegang hebt, inclusief uitvoeringen die zijn gestart door externe indelingshulpprogramma's zoals Apache Airflow of Azure Data Factory. De lijst met recente taakuitvoeringen weergeven:

1. Klik op Jobs & Pipelines in de zijbalk.
2. Klik op het tabblad Taakuitvoeringen om de grafiek van het aantal voltooide uitvoeringen en de lijst met taakuitvoeringen weer te geven.

Grafiek aantal uitvoeringen voltooid

In de grafiek Aantal voltooide uitvoeringen wordt het aantal voltooide taakuitvoeringen weergegeven in de afgelopen 48 uur. In de grafiek worden standaard de mislukte, overgeslagen en geslaagde taakuitvoeringen weergegeven. U kunt de grafiek ook filteren om specifieke uitvoeringsstatussen weer te geven of de grafiek te beperken tot een specifiek tijdsbereik. Het tabblad Taakuitvoeringen bevat ook een tabel met taakuitvoeringen van de afgelopen 67 dagen. De tabel bevat standaard details over mislukte, overgeslagen en geslaagde taakuitvoeringen.

U kunt het aantal voltooide uitvoeringen filteren op uitvoeringsstatus:

• Als u de grafiek wilt bijwerken om taken weer te geven die momenteel worden uitgevoerd of wachten om te worden uitgevoerd, klikt u op Actieve uitvoeringen.
• Als u de grafiek wilt bijwerken om alleen voltooide uitvoeringen weer te geven, inclusief mislukte, geslaagde en overgeslagen uitvoeringen, klikt u op Voltooide uitvoeringen.
• Als u de grafiek wilt bijwerken om alleen uitvoeringen weer te geven die de afgelopen 48 uur zijn voltooid, klikt u op Geslaagde uitvoeringen.
• Als u de grafiek wilt bijwerken om alleen overgeslagen uitvoeringen weer te geven, klikt u op Overgeslagen uitvoeringen. Uitvoeringen worden overgeslagen omdat u het maximum aantal gelijktijdige uitvoeringen in uw werkruimte hebt overschreden of de taak het maximum aantal gelijktijdige uitvoeringen heeft overschreden dat is opgegeven door de taakconfiguratie.
• Als u de grafiek wilt bijwerken om alleen uitvoeringen weer te geven die zijn voltooid in een foutstatus, klikt u op Mislukte uitvoeringen.

Wanneer u op een van de filterknoppen klikt, wordt de lijst met uitvoeringen in de uitvoeringstabel ook bijgewerkt om alleen taakuitvoeringen weer te geven die overeenkomen met de geselecteerde status.

Als u het tijdsbereik wilt beperken dat wordt weergegeven in de grafiek voltooide uitvoeringen , klikt u op de cursor in de grafiek en sleept u deze om het tijdsbereik te selecteren. De grafiek en de update van de uitvoeringstabel om alleen uitvoeringen van het geselecteerde tijdsbereik weer te geven.

In de tabel Top 5-fouttypen wordt een lijst weergegeven met de meest voorkomende fouttypen uit het geselecteerde tijdsbereik, zodat u snel de meest voorkomende oorzaken van taakproblemen in uw werkruimte kunt zien.

Lijst van taakuitvoeringen

Het tabblad Taakuitvoeringen bevat ook een tabel met taakuitvoeringen van de afgelopen 60 dagen. De tabel bevat standaard details over mislukte, overgeslagen en geslaagde taakuitvoeringen.

U kunt de lijst met uitvoeringen filteren die in de lijst worden weergegeven op basis van het volgende:

• Taak: Selecteer maximaal 3 taken en bekijk alleen uitvoeringen voor deze taken.
• Uitvoeren als: Selecteer maximaal 3 uitvoeren als identiteiten en bekijk alleen uitvoeringen die als deze gebruikers zijn uitgevoerd.
• Tijdvenster: Selecteer en begin- en einddatum en -tijd om te beperken tot taakuitvoeringen die in dit interval zijn uitgevoerd.
• Uitvoeringsstatus: filter om alleen actieve uitvoeringen te zien (momenteel uitgevoerd), voltooid (voltooid, inclusief geslaagde en mislukte uitvoeringen), geslaagd, mislukt en overgeslagen uitvoeringen.
• Foutcode: filter de lijst op basis van foutcode om alle taken te zien die zijn mislukt met dezelfde foutcode.

In de lijst met uitvoeringen in de uitvoeringstabel wordt standaard het volgende weergegeven:

• De begintijd voor de uitvoering.
• De naam van de taak die aan de uitvoering is gekoppeld.
• De gebruikersnaam die door de taak wordt uitgevoerd.
• Of de uitvoering nu is geactiveerd door een taakplanning of een API-aanvraag, of handmatig is gestart.
• De tijd die is verstreken voor een actieve taak of de totale uitvoeringstijd voor een voltooide uitvoering. Er wordt een waarschuwing weergegeven als de duur een geconfigureerde verwachte voltooiingstijd overschrijdt.
• De status van de uitvoering: in de wachtrij, in behandeling, aan het uitvoeren, overgeslagen, geslaagd, mislukt, time-out, annulerenof geannuleerd.
• Eventuele foutcodes waarmee de uitvoering is beëindigd.
• Parameters voor de uitvoering.
• Als u een actieve taak wilt stoppen, klikt u op de stopknop. Als u toegang wilt krijgen tot de acties voor de taak, klikt u op het (Als u bijvoorbeeld een actieve run wilt stoppen of een voltooide run wilt verwijderen).

Als u de kolommen wilt wijzigen die worden weergegeven in de lijst met uitvoeringen, klikt u op Selecteer of hef de selectie van kolommen op.

Als u details van de taakuitvoering wilt weergeven, klikt u op de koppeling in de kolom Begintijd voor de uitvoering. Als u taakdetails wilt weergeven, klikt u op de taaknaam in de kolom Taak .

Herkomstgegevens voor een taak weergeven

Als Unity Catalog is ingeschakeld in uw werkruimte, kunt u herkomstgegevens weergeven voor alle Unity Catalog-tabellen in uw werkstroom. Als gegevens over herkomst beschikbaar zijn voor uw werkstroom, ziet u een koppeling met een aantal upstream- en downstreamtabellen in het deelvenster Taakdetails voor uw taak, het deelvenster Taakuitvoeringsdetails voor een taakuitvoering of het deelvenster Details van taakuitvoering voor een taakuitvoering. Klik op de koppeling om de lijst met tabellen weer te geven. Klik op een tabel om gedetailleerde informatie weer te geven in Catalog Explorer.

Een taak weergeven en uitvoeren die is gemaakt met Databricks Asset Bundles

U kunt de Lakeflow Jobs-gebruikersinterface gebruiken om taken weer te geven en uit te voeren die zijn uitgerold door Databricks Asset Bundles. Deze taken zijn standaard alleen-lezen in de gebruikersinterface van Taken. Als u een taak wilt bewerken die door een bundel is geïmplementeerd, wijzigt u het configuratiebestand voor de bundel en implementeert u de taak opnieuw. Als u alleen wijzigingen toepast op de bundelconfiguratie, zorgt u ervoor dat de bundelbronbestanden altijd de huidige taakconfiguratie vastleggen.

Als u echter onmiddellijk wijzigingen in een taak moet aanbrengen, kunt u de taak loskoppelen van de bundelconfiguratie om het bewerken van de taakinstellingen in de gebruikersinterface in te schakelen. Als u de taak wilt verbreken, klikt u op Verbinding met bron verbreken. Klik in het dialoogvenster Verbinding verbreken met bron op Verbinding verbreken om te bevestigen.

Wijzigingen die u aanbrengt in de taak in de gebruikersinterface, worden niet toegepast op de bundelconfiguratie. Als u wijzigingen wilt toepassen die u in de gebruikersinterface aanbrengt in de bundel, moet u de bundelconfiguratie handmatig bijwerken. Als u de taak opnieuw wilt verbinden met de bundelconfiguratie, implementeert u de taak opnieuw met behulp van de bundel.

Uitvoerresultaten van taak exporteren

U kunt uitvoerresultaten van notebooks en taakuitvoeringslogboeken voor alle taaktypen exporteren.

Uitvoerresultaten van notebooks exporteren

U kunt taakuitvoeringen behouden door hun resultaten te exporteren. Voor uitvoeringen van notebooktaken kunt u een gerenderd notebook exporteren dat later kan worden geïmporteerd in uw Azure Databricks-werkruimte.

Uitvoerresultaten van notebooks exporteren voor een taak met één taak:

1. Klik op de taakdetailpagina op de koppeling Details weergeven voor de uitvoering in de kolom Uitvoeren van de tabel Voltooide uitvoeringen (afgelopen 60 dagen).
2. Klik op Exporteren naar HTML.

Uitvoerresultaten van notebooks exporteren voor een taak met meerdere taken:

1. Klik op de taakdetailpagina op de koppeling Details weergeven voor de uitvoering in de kolom Uitvoeren van de tabel Voltooide uitvoeringen (afgelopen 60 dagen).
2. Klik op de notebook-taak die u wilt exporteren.
3. Klik op Exporteren naar HTML.

Logboeken voor het uitvoeren van taken exporteren

U kunt de logboeken voor de uitvoering van uw taak ook exporteren. U kunt uw taak zo instellen dat logboeken automatisch aan DBFS worden geleverd tijdens het configureren van taken berekenen (zie Compute-configuratieverwijzing) of via de Taak-API. Zie het new_cluster.cluster_log_conf object in de aanvraagbody die is doorgegeven aan de taakbewerking Maken (POST /jobs/create) in de Taken-API.