Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Dit artikel bevat aanbevelingen en resources voor het configureren van compute voor Lakeflow-taken.
Belangrijk
Beperkingen voor serverloze berekeningen voor taken zijn onder andere:
- Geen ondersteuning voor doorlopende planning.
- Geen ondersteuning voor standaard- of tijdgebaseerde intervaltriggers in Structured Streaming.
Zie Serverloze rekenbeperkingen voor meer beperkingen.
Elke taak kan een of meer taken hebben. U definieert rekenresources voor elke taak. Meerdere taken die voor dezelfde taak zijn gedefinieerd, kunnen dezelfde rekenresource gebruiken.
Wat is de aanbevolen berekening voor elke taak?
De volgende tabel geeft de aanbevolen en ondersteunde rekentypen voor elk taaktype aan.
Notitie
Serverloze rekenkracht voor taken heeft beperkingen en biedt geen ondersteuning voor alle workloads. Zie beperkingen voor serverloze berekeningen.
| Opdracht | Aanbevolen rekenkracht | Ondersteunde berekeningen |
|---|---|---|
| Notitieboekjes | Serverloze taken | Serverloze taken, klassieke taken, klassieke voor algemene doeleinden |
| Python-script | Serverloze taken | Serverloze taken, klassieke taken, klassieke voor algemene doeleinden |
| Python-wiel | Serverloze taken | Serverloze taken, klassieke taken, klassieke voor algemene doeleinden |
| SQL | Serverloze SQL Magazijn | Serverloze SQL-gegevensmagazijn, pro SQL-gegevensmagazijn |
| Declaratieve Pijplijnen van Lakeflow Spark | Serverloze pijplijn | Serverloze pijplijn, klassieke pijplijn |
| dbt | Serverloze SQL Magazijn | Serverloze SQL-gegevensmagazijn, pro SQL-gegevensmagazijn |
| DBT CLI-opdrachten | Serverloze taken | Serverloze taken, klassieke taken, klassieke voor algemene doeleinden |
| POT | Klassieke banen | Klassieke taken, klassiek voor algemeen gebruik |
| Spark Submit | Klassieke banen | Klassieke banen |
Prijzen voor Lakeflow-taken zijn gekoppeld aan de berekening die wordt gebruikt voor het uitvoeren van taken. Zie De prijzen van Databricks voor meer informatie.
Hoe kan ik rekenkracht configureren voor taken?
Het berekenen van klassieke taken wordt rechtstreeks vanuit de gebruikersinterface van Lakeflow-taken geconfigureerd en deze configuraties maken deel uit van de taakdefinitie. Alle configuraties van andere beschikbare rekentypen worden opgeslagen samen met andere werkruimtebronnen. De volgende tabel bevat meer informatie:
| Rekentype | Bijzonderheden |
|---|---|
| Klassieke taken berekenen | Je configureert rekenkracht voor klassieke taken met dezelfde gebruikersinterface en instellingen die beschikbaar zijn voor algemene rekenkracht. Raadpleeg de referentie voor de configuratie van compute. |
| Serverloze rekenkracht voor taken | Serverloze berekening voor taken is de standaardinstelling voor alle taken die deze ondersteunen. Databricks beheert rekeninstellingen voor serverloze berekeningen. Zie Uw Lakeflow-taken uitvoeren met serverloze berekeningen voor werkstromen. |
| SQL-magazijnen | Serverloze en pro SQL-warehouses worden geconfigureerd door werkruimtebeheerders of gebruikers met onbeperkte bevoegdheden voor het maken van clusters. U configureert taken die moeten worden uitgevoerd op bestaande SQL-warehouses. Zie Verbinding maken met een SQL-warehouse. |
| Reken declaratieve pijplijnen van Lakeflow Spark | U configureert rekeninstellingen voor Lakeflow Spark-declaratieve pijplijnen tijdens de pijplijnconfiguratie. Zie Klassieke rekenkracht configureren voor pijplijnen. Azure Databricks beheert rekenresources voor serverloze Lakeflow Spark-declaratieve pijplijnen. Zie Een serverloze pijplijn configureren. |
| Rekenproces voor alle doeleinden | U kunt desgewenst taken configureren met behulp van klassieke berekeningen voor alle doeleinden. Databricks raadt deze configuratie niet aan voor productietaken. Zie De referentie voor de compute-configuratie en moet er ooit rekenkracht voor alle doeleinden worden gebruikt voor taken?. |
Rekenkracht delen tussen taken
Configureer taken om dezelfde computerbronnen te gebruiken en zo het gebruik van middelen te optimaliseren met jobs die meerdere taken coördineren. Het delen van rekenkracht over taken kan de latentie verminderen die is gekoppeld aan opstarttijden.
U kunt één taakresource gebruiken om alle taken uit te voeren die deel uitmaken van de taak of meerdere taakresources die zijn geoptimaliseerd voor specifieke workloads. Een jobcompute die als onderdeel van een taak is geconfigureerd, is beschikbaar voor alle andere taken binnen de job.
In de volgende tabel worden de verschillen getoond tussen job compute die is geconfigureerd voor één taak en job compute die wordt gedeeld tussen verschillende taken.
| Eén taak | Gedeeld tussen taken | |
|---|---|---|
| Begin | Wanneer de taak wordt uitgevoerd. | Wanneer de eerste taak die is geconfigureerd om de rekenresource te gebruiken, begint te draaien. |
| Beëindigen | Nadat de taak is uitgevoerd. | Nadat de laatste taak, die is geconfigureerd om de rekenresource te gebruiken, wordt uitgevoerd. |
| Niet-actieve rekenkracht | Niet van toepassing. | De computer blijft ingeschakeld en inactief terwijl taken worden uitgevoerd die geen gebruikmaken van de computercapaciteit. |
Een gedeeld taakcluster is gericht op één taakuitvoering en kan niet worden gebruikt door andere taken of uitvoeringen van dezelfde taak.
Bibliotheken kunnen niet worden gedeclareerd in een configuratie van een gedeeld taakcluster. U moet afhankelijke bibliotheken toevoegen in taakinstellingen.
Controleer, configureer en wissel de rekenkracht van taken.
De sectie Compute in het deelvenster Taakdetails bevat alle berekeningen die zijn geconfigureerd voor taken in de huidige taak.
Taken die zijn geconfigureerd voor het gebruik van een rekenresource, worden gemarkeerd in de taakgrafiek wanneer u de muisaanwijzer boven de berekeningsspecificatie beweegt.
Gebruik de knop Wisselen om de berekening te wijzigen voor alle taken die zijn gekoppeld aan een rekenresource.
Rekenresources voor klassieke taken hebben een optie Configureren . Andere rekenresources bieden u opties om details van de rekenconfiguratie weer te geven en te wijzigen.
Meer informatie
Zie voor meer informatie over het configureren van klassieke Azure Databricks-taken De aanbevolen procedures voor het configureren van klassieke Lakeflow-taken.