Synapse Studio gebruiken om uw Apache Spark-toepassingen te bewaken

Met Azure Synapse Analytics kunt u Apache Spark gebruiken om notebooks, taken en andere soorten toepassingen uit te voeren in uw Apache Spark-pools in uw werkruimte.

In dit artikel wordt uitgelegd hoe u uw Apache Spark-toepassingen kunt bewaken, zodat u de meest recente status, problemen en voortgang in de gaten kunt houden.

Apache Spark-toepassingen weergeven

U kunt alle Apache Spark-toepassingen bekijken vanuit Monitor ->Apache Spark-toepassingen.

Voltooide Apache Spark-toepassingen weergeven

Open vervolgens Monitor en selecteer Apache Spark-toepassingen. Als u de details van de voltooide Apache Spark-toepassingen wilt bekijken, selecteert u de Apache Spark-toepassing.

1. Controleer de voltooide taken, status en totale duur.

2. Vernieuw de taak.

3. Klik op Toepassingen vergelijken om de vergelijkingsfunctie te gebruiken. Zie de Apache Spark-toepassingen vergelijken voor meer informatie over deze functie.

4. Klik op de Spark-geschiedenisserver om de pagina Geschiedenisserver te openen.

5. Controleer de samenvattingsgegevens .

6. Controleer de diagnostische gegevens op het tabblad Diagnostisch.

7. Controleer de logboeken. U kunt het volledige logboek van Livy-, Prelaunch- en stuurprogrammalogboeken bekijken door verschillende opties in de vervolgkeuzelijst te selecteren. En u kunt de vereiste logboekgegevens rechtstreeks ophalen door trefwoorden te zoeken. Klik op Logboek downloaden om de logboekgegevens naar het lokale bestand te downloaden en schakel het selectievakje Filterfouten en waarschuwingen in om de fouten en waarschuwingen te filteren die u nodig hebt.

8. U ziet een overzicht van uw taak in de gegenereerde taakgrafiek. In de grafiek worden standaard alle taken weergegeven. U kunt deze weergave filteren op taak-id.

9. De voortgangsweergave is standaard geselecteerd. U kunt de gegevensstroom controleren door Voortgang/Lezen/Geschreven/Duur te selecteren in de vervolgkeuzelijst Weergave.

10. Als u de taak wilt afspelen, klikt u op de knop Afspelen . U kunt op elk gewenst moment op de knop Stoppen klikken om te stoppen.

11. Gebruik de schuifbalk om in te zoomen en uit te zoomen op de taakgrafiek. U kunt ook Zoomen selecteren om passend te maken voor het scherm.

12. In het taakgrafiekknooppunt worden de volgende gegevens van elke fase weergegeven:

    • Functie-ID

    • Taaknummer

    • Duur van de tijd

    • Aantal rijen

    • Gegevens gelezen: de som van de invoergrootte en de shuffle-leesgrootte

    • Geschreven gegevens: de som van de uitvoergrootte en de shuffle-schrijfgrootte

    • Fasenummer

      

13. Beweeg de muisaanwijzer over een taak en de taakgegevens worden weergegeven in de knopinfo:

    • Pictogram van taakstatus: als de taakstatus is geslaagd, wordt deze weergegeven als een groene '√'; als de taak een probleem detecteert, wordt er een gele '!' weergegeven

    • Functie-ID

    • Algemeen onderdeel:

      • Vooruitgang
      • Duurtijd
      • Totaal aantal taken

    • Gegevensonderdeel:

      • Totaal aantal rijen
      • Leesgrootte
      • Lettergrootte

    • Scheef deel:

      • Ongelijkheid in gegevens
      • Tijdverschuiving

    • Fasenummer

      

14. Klik op Fasenummer om alle fasen in de taak uit te vouwen. Klik op Samenvouwen naast de taak-id om alle fasen in de taak samen te vouwen.

15. Klik op Details weergeven in een fasegrafiek en de details voor een fase worden weergegeven.

    

Voortgang van Apache Spark-toepassing bewaken

Open Monitor en selecteer vervolgens Apache Spark-toepassingen. Als u de details wilt bekijken over de Apache Spark-toepassingen die worden uitgevoerd, selecteert u de ingediende Apache Spark-toepassing. Als de Apache Spark-toepassing nog steeds wordt uitgevoerd, kunt u de voortgang controleren.

1. Controleer de voltooide taken, status en totale duur.

2. Annuleer de Apache Spark-toepassing.

3. Vernieuw de taak.

4. Klik op de knop Spark UI om naar de pagina Spark-taak te gaan.

5. Voor taakgrafiek, Samenvatting, Diagnostische gegevens, Logboeken. U ziet een overzicht van uw taak in de gegenereerde taakgrafiek. Raadpleeg stap 5 tot en met 15 voltooide Apache Spark-toepassingen.

Geannuleerde Apache Spark-toepassingen weergeven

Open Monitor en vervolgens selecteer Apache Spark-toepassingen. Als u de details van de geannuleerde Apache Spark-toepassingen wilt bekijken, selecteert u de Apache Spark-toepassing.

1. Controleer de voltooide taken, status en totale duur.

2. Vernieuw de taak.

3. Klik op Toepassingen vergelijken om de vergelijkingsfunctie te gebruiken. Zie de Apache Spark-toepassingen vergelijken voor meer informatie over deze functie.

4. Open de koppeling naar de Apache-geschiedenisserver door op de Spark-geschiedenisserver te klikken.

5. Bekijk de grafiek. U ziet een overzicht van uw taak in de gegenereerde taakgrafiek. Raadpleeg stap 5 tot en met 15 voltooide Apache Spark-toepassingen.

Foutopsporing van een mislukte Apache Spark-toepassing

Open Monitor en vervolgens selecteer Apache Spark-toepassingen. Als u de details van de mislukte Apache Spark-toepassingen wilt bekijken, selecteert u de Apache Spark-toepassing.

1. Controleer de voltooide taken, status en totale duur.

2. Vernieuw de taak.

3. Klik op Toepassingen vergelijken om de vergelijkingsfunctie te gebruiken. Zie de Apache Spark-toepassingen vergelijken voor meer informatie over deze functie.

4. Open de koppeling naar de Apache-geschiedenisserver door op de Spark-geschiedenisserver te klikken.

5. Bekijk de grafiek. U ziet een overzicht van uw taak in de gegenereerde taakgrafiek. Raadpleeg stap 5 tot en met 15 voltooide Apache Spark-toepassingen.

Invoergegevens/uitvoergegevens weergeven

Selecteer een Apache Spark-toepassing en klik op het tabblad Invoergegevens/Uitvoergegevens om datums van de invoer en uitvoer voor de Apache Spark-toepassing weer te geven. Met deze functie kunt u fouten opsporen in de Spark-taak. En de gegevensbron ondersteunt drie opslagmethoden: gen1, gen2 en blob.

Tabblad Invoergegevens

1. Klik op de knop Invoer kopiëren om het invoerbestand in het lokale bestand te plakken.

2. Klik op de knop Exporteren naar CSV om het invoerbestand in CSV-indeling te exporteren.

3. U kunt bestanden zoeken op invoertrefwoorden in het zoekvak (trefwoorden bevatten bestandsnaam, leesindeling en pad).

4. U kunt de invoerbestanden sorteren door op Naam, Leesindeling en pad te klikken.

5. Gebruik de muisaanwijzer om over een invoerbestand te bewegen, dan verschijnt het pictogram van de knop Pad downloaden/kopiëren/Meer.

6. Klik op de Meer-knop. Het pad kopiëren/weergeven in verkenner/Eigenschappen wordt weergegeven in het contextmenu.

   

   • Pad kopiëren: kan volledig pad en relatief pad kopiëren.

   • Weergeven in Explorer: kan springen naar het gekoppelde opslagaccount (Data-gekoppeld>).

   • Eigenschappen: de basiseigenschappen van het bestand weergeven (bestandsnaam/bestandspad/leesindeling/grootte/gewijzigd).

     

Tabblad Uitvoergegevens

Geeft dezelfde functies weer als het invoertabblad.

Apache Spark-toepassingen vergelijken

Er zijn twee manieren om toepassingen te vergelijken. U kunt vergelijken door De toepassing Vergelijken te kiezen of op de knop Vergelijken in notitieblok te klikken om deze in het notitieblok weer te geven.

Vergelijken per toepassing

Klik op de knop Toepassingen vergelijken en kies een toepassing om de prestaties te vergelijken. U kunt het verschil tussen de twee toepassingen zien.

1. Gebruik de muisaanwijzer om de muisaanwijzer over een toepassing te bewegen en vervolgens wordt het pictogram Toepassingen vergelijken weergegeven.

2. Klik op het pictogram Toepassingen vergelijken en de pagina Toepassingen vergelijken wordt weergegeven.

3. Klik op de knop Toepassing kiezen om de pagina Vergelijkingstoepassing kiezen te openen.

4. Wanneer u de vergelijkingstoepassing kiest, moet u de toepassings-URL invoeren of kiezen uit de terugkerende lijst. Klik vervolgens op de knop OK .

   

5. Het vergelijkingsresultaat wordt weergegeven op de pagina met vergelijkingstoepassingen.

   

Vergelijken in notitieblok

Klik op de knop Vergelijken in notitieblok op de pagina Toepassingen vergelijken om het notitieblok te openen. De standaardnaam van het .ipynb-bestand is Terugkerende Application Analytics.

In het Notebook: Recurrent Application Analytics-bestand kunt u het rechtstreeks uitvoeren nadat u de Spark-pool en de taal hebt ingesteld.

Volgende stappen

Zie het artikel Pijplijnuitvoeringen bewaken met behulp van Synapse Studio voor meer informatie over het bewaken van pijplijnuitvoeringen.