September 2020

Deze functies en azure Databricks-platformverbeteringen zijn uitgebracht in september 2020.

Databricks Runtime 7.3, 7.3 ML en 7.3 Genomics zijn nu algemeen beschikbaar

24 september 2020

Databricks Runtime 7.3, Databricks Runtime 7.3 voor Machine Learning en Databricks Runtime 7.3 voor Genomics zijn nu algemeen beschikbaar. Ze brengen veel functies en verbeteringen, waaronder:

• Optimalisaties van Delta Lake-prestaties verminderen de overhead aanzienlijk
• Metrische gegevens klonen
• Verbeteringen in Delta Lake MERGE INTO
• Geef de initiële positie op voor Delta Lake Structured Streaming
• Verbeteringen van automatische laadprogramma's
• Adaptieve queryuitvoering
• Controle van kolomlengte voor Azure Synapse Analytics-connector
• Verbeterd gedrag van dbutils.credentials.showRoles
• Vereenvoudigde pandas naar Spark DataFrame-conversie
• Nieuw maxResultSize in toPandas() gesprek
• Foutopsporing van pandas en PySpark UDF's
• (alleen ML) Conda-activering op werknemers
• (Alleen Genomics) Ondersteuning voor het lezen van BGEN-bestanden met niet-gecomprimeerde of zstd-gecomprimeerde genotypes
• Bibliotheekupgrades

Zie Databricks Runtime 7.3 LTS (EoS) en Databricks Runtime 7.3 LTS voor Machine Learning (EoS) voor meer informatie.

Clusters met één knooppunt (openbare preview)

23-29 september 2020: versie 3.29

Een cluster met één knooppunt is een cluster dat bestaat uit een Spark-stuurprogramma en geen Spark-werkrollen. Clusters in de Standaardmodus vereisen daarentegen ten minste één Spark-werkrol om Spark-taken uit te voeren. Clusters met één knooppuntmodus zijn handig in de volgende situaties:

• Machine Learning-workloads met één knooppunt uitvoeren waarvoor Spark gegevens moet laden en opslaan
• Lichtgewicht verkennende gegevensanalyse (EDA)

Zie Rekenproces met één knooppunt voor meer informatie.

DBFS REST API-frequentiebeperking

23-29 september 2020: versie 3.29

Azure Databricks dwingt nu API-frequentielimieten af voor DBFS-API-aanroepen om een hoge kwaliteit van de service onder zware belasting te garanderen. Limieten worden per werkruimte ingesteld om eerlijk gebruik en hoge beschikbaarheid te garanderen. Automatische nieuwe pogingen zijn beschikbaar met behulp van Databricks CLI versie 0.12.0 en hoger. We adviseren alle klanten om over te schakelen naar de nieuwste Versie van Databricks CLI.

Nieuwe pictogrammen in de zijbalk

23-29 september 2020

De zijbalk is bijgewerkt in de gebruikersinterface van de Azure Databricks-werkruimte. Geen probleem, maar we denken dat de nieuwe pictogrammen er mooi uitzien.

Limietverhoging voor lopende taken

23-29 september 2020: versie 3.29

De limiet voor gelijktijdig uitgevoerde taken is verhoogd van 150 tot 1000 per werkruimte. Er worden niet langer meer dan 150 in de wachtrij geplaatst in de status In behandeling. In plaats van een wachtrij voor uitvoeringsaanvragen boven gelijktijdige uitvoeringen wordt een 429 Too Many Requests antwoord geretourneerd wanneer u een uitvoering aanvraagt die niet onmiddellijk kan worden gestart. Deze limietverhoging is geleidelijk geïmplementeerd en is nu beschikbaar voor alle werkruimten in alle regio's.

Toegangsbeheerlijsten (ACL's) voor artefacten in MLflow

23-29 september 2020: versie 3.29

MLflow Experiment-machtigingen worden nu afgedwongen op artefacten in MLflow Tracking, zodat u eenvoudig de toegang tot uw modellen, gegevenssets en andere bestanden kunt beheren. Wanneer u een nieuw experiment maakt, worden de uitvoerartefacten nu opgeslagen op een door MLflow beheerde locatie. De vier MLflow Experiment-machtigingsniveaus (GEEN MACHTIGINGEN, KUNNEN LEZEN, KUNNEN BEWERKEN en KAN BEHEREN) zijn automatisch van toepassing op het uitvoeren van artefacten die zijn opgeslagen in door MLflow beheerde locaties:

• KAN BEWERKEN of KAN BEHEREN machtigingen zijn vereist voor het vastleggen van artefacten voor een experiment.
• CAN READ-machtigingen zijn vereist om artefacten uit een experiment weer te geven en te downloaden.

Zie MLflow-experiment-ACL's voor meer informatie.

Bruikbaarheid van MLflow verbeterd

23-29 september 2020: versie 3.29

Deze release bevat de volgende verbeteringen in de bruikbaarheid van MLflow:

• De pagina's MLflow Experiment en Geregistreerde modellen hebben nu tips om nieuwe gebruikers te helpen aan de slag te gaan.
• In de tabel met modelversies wordt nu de beschrijvingstekst voor een modelversie weergegeven. In een nieuwe kolom worden de eerste 32 tekens of de eerste regel (afhankelijk van wat korter is) van de beschrijving weergegeven.

Nieuwe Azure Databricks Power BI-connector (openbare preview)

22 september 2020

Power BI Desktop versie 2.85.681.0 bevat een nieuwe Azure Databricks Power BI-connector die de integratie tussen Azure Databricks en Power BI veel naadlozer en betrouwbaarder maakt. De nieuwe connector wordt geleverd met de volgende verbeteringen:

• Eenvoudige verbindingsconfiguratie: de nieuwe Power BI Azure Databricks-connector is geïntegreerd in Power BI en u configureert deze met behulp van een eenvoudig dialoogvenster met een paar klikken.
• Verificatie op basis van Microsoft Entra ID-referenties betekent dat beheerders geen PAT-tokens meer hoeven te configureren.
• Snellere import en geoptimaliseerde aanroepen van metagegevens, dankzij het nieuwe ODBC-stuurprogramma van Azure Databricks, dat wordt geleverd met aanzienlijke prestatieverbeteringen.
• Toegang tot Azure Databricks-gegevens via Power BI respecteert Azure Databricks toegangsbeheer voor tabellen en machtigingen voor Azure-opslagaccounts die zijn gekoppeld aan uw Microsoft Entra ID-identiteit.

Zie Power BI met Azure Databricks voor meer informatie.

Door de klant beheerde sleutels gebruiken voor DBFS-hoofdmap (openbare preview)

15 september 2020

U kunt nu uw eigen versleutelingssleutel in Azure Key Vault gebruiken om het DBFS-opslagaccount te versleutelen. Zie door de klant beheerde sleutels voor dbFS-hoofdmap.

Nieuwe JDBC- en ODBC-stuurprogramma's zorgen voor snellere BI met lage latentie

15 september 2020

We hebben nieuwe versies van de Databricks JDBC- en ODBC-stuurprogramma's uitgebracht (download) met de volgende verbeteringen:

• Prestaties: verminderde verbindings- en korte querylatentie, verbeterde snelheid van resultaatoverdracht op basis van Apache Arrow-serialisatie en verbeterde prestaties van het ophalen van metagegevens.
• Gebruikerservaring: Verificatie met behulp van OAuth2-toegangstokens van Microsoft Entra ID, verbeterde foutberichten en automatisch opnieuw proberen bij het maken van verbinding met een afsluitcluster, krachtigere verwerking van nieuwe pogingen bij onregelmatige netwerkfouten.
• Ondersteuning voor verbindingen met behulp van HTTP-proxy.

Zie Databricks ODBC- en JDBC-stuurprogramma's voor meer informatie over het maken van verbinding met BI-hulpprogramma's met behulp van JDBC en ODBC.

MLflow-model aanbieden (openbare preview)

9-15 september 2020: versie 3.28

MLflow Model Serving is nu beschikbaar in de openbare preview. Met MLflow Model Serving kunt u een MLflow-model implementeren dat is geregistreerd in modelregister als een REST API-eindpunt dat wordt gehost en beheerd door Azure Databricks. Wanneer u modelservices inschakelt voor een geregistreerd model, maakt Azure Databricks een cluster en implementeert u alle niet-gearchiveerde versies van dat model.

U kunt alle modelversies op REST API-aanvragen opvragen met standaard Azure Databricks-verificatie. Modeltoegangsrechten worden overgenomen uit het modelregister. Iedereen met leesrechten voor een geregistreerd model kan een query uitvoeren op een van de geïmplementeerde modelversies. Hoewel deze service in preview is, raden we het gebruik aan voor lage doorvoer en niet-kritieke toepassingen.

Zie Legacy MLflow Model Serving in Azure Databricks voor meer informatie.

Gebruikersinterfaceverbeteringen voor clusters

9-15 september 2020: versie 3.28

De pagina Clusters bevat nu afzonderlijke tabbladen voor clusters voor alle doeleinden en taakclusters. De lijst op elk tabblad is nu gepagineerd. Daarnaast hebben we de vertraging opgelost die soms is opgetreden tussen het maken van een cluster en het kunnen zien in de gebruikersinterface.

Zichtbaarheidscontroles voor taken, clusters, notebooks en andere werkruimteobjecten

9-15 september 2020: versie 3.28

Standaard kan elke gebruiker alle taken, clusters, notebooks en mappen in hun werkruimte zien die worden weergegeven in de Gebruikersinterface van Azure Databricks en kan deze weergeven met behulp van de Databricks-API, zelfs wanneer toegangsbeheer is ingeschakeld voor deze objecten en een gebruiker geen machtigingen heeft voor deze objecten.

Nu kan elke Azure Databricks-beheerder zichtbaarheidsbesturingselementen inschakelen voor notebooks en mappen (werkruimteobjecten), clusters en taken om ervoor te zorgen dat gebruikers alleen die objecten kunnen bekijken waartoe ze toegang hebben gekregen via werkruimte, cluster of taaktoegangsbeheer.

Zie Toegangsbeheerlijsten kunnen niet meer worden uitgeschakeld.

De mogelijkheid om tokens te maken is standaard niet meer toegestaan

9-15 september 2020: versie 3.28

Voor werkruimten die zijn gemaakt na de release van Azure Databricks-platformversie 3.28, hebben gebruikers niet langer de mogelijkheid om standaard persoonlijke toegangstokens te genereren. Beheerders moeten deze machtigingen expliciet verlenen, ofwel aan de hele users groep of gebruiker-voor-gebruiker of groep-voor-groep. Werkruimten die zijn gemaakt voordat 3.28 werd uitgebracht, behouden de machtigingen die al aanwezig waren.

Zie Persoonlijke toegangstokens bewaken en intrekken.

MLflow-modelregister ondersteunt het delen van modellen in werkruimten

9 september 2020

Azure Databricks biedt nu ondersteuning voor toegang tot het modelregister vanuit meerdere werkruimten. U kunt nu modellen registreren, modeluitvoeringen bijhouden en modellen laden in werkruimten. Meerdere teams kunnen nu toegang tot modellen delen en organisaties kunnen meerdere werkruimten gebruiken om de verschillende fasen van ontwikkeling af te handelen. Zie Modellen delen in werkruimten voor meer informatie.

Voor deze functionaliteit is MLflow Python-clientversie 1.11.0 of hoger vereist.

Databricks Runtime 7.3 (bèta)

3 september 2020

Databricks Runtime 7.3, Databricks Runtime 7.3 voor Machine Learning en Databricks Runtime 7.3 voor Genomics zijn nu beschikbaar als bètaversies.

Zie Databricks Runtime 7.3 LTS (EoS) en Databricks Runtime 7.3 LTS voor Machine Learning (EoS) voor meer informatie.

Naamwijziging van Azure Databricks-workloadtype

1 september 2020

De namen van de workloadtypen die door uw clusters worden gebruikt, zijn gewijzigd:

• Data-engineer ing -> Taken berekenen
• Data-engineer licht -> Jobs Light Compute
• Data-analyse -> Algemene Compute

Deze nieuwe namen worden weergegeven op facturen en in de EA-portal in combinatie met uw prijsplan (bijvoorbeeld 'Premium - Jobs Compute - DBU'). Zie Azure Databricks Meters voor meer informatie.

De gebruikersinterface is ook gewijzigd in platformversie 3.27 (gericht op gefaseerde release tussen 25 augustus en 3 september):

Op de pagina Clusterszijn de lijstkoppen gewijzigd:

• Interactieve clusters -> clusters voor alle doeleinden
• Geautomatiseerde clusters -> taakclusters

Wanneer u een cluster voor een taak configureert, zijn de opties voor clustertype gewijzigd:

• Nieuw geautomatiseerd cluster -> nieuw taakcluster
• Bestaand interactief cluster -> bestaand cluster voor alle doeleinden