Augustus 2022

Deze functies en azure Databricks-platformverbeteringen zijn uitgebracht in augustus 2022.

Accountgebruikers hebben toegang tot de accountconsole

1-31 augustus 2022

Accountgebruikers hebben toegang tot de Azure Databricks-accountconsole om een lijst met hun werkruimten weer te geven. Accountgebruikers kunnen alleen werkruimten bekijken waartoe ze toegang hebben gekregen. Zie Uw Azure Databricks-account beheren.

Gebruikers van werkruimten worden automatisch gesynchroniseerd met uw account als accountgebruikers. Alle bestaande werkruimtegebruikers en service-principals worden automatisch met uw account gesynchroniseerd als gebruikers en service-principals op accountniveau. Zie Identiteiten synchroniseren van uw id-provider.

Databricks ODBC-stuurprogramma 2.6.26

29 augustus 2022

Versie 2.6.26 van het ODBC-stuurprogramma van Databricks (download) is uitgebracht. Deze release werkt ondersteuning voor query's bij. U kunt nu asynchroon query's annuleren op HTTP-verbindingen op verzoek van de API.

In deze release wordt ook het volgende probleem opgelost:

• Wanneer u aangepaste query's in Spotfire gebruikt, reageert de connector niet meer.

Databricks JDBC-stuurprogramma 2.6.29

29 augustus 2022

Versie 2.6.29 van het Databricks JDBC-stuurprogramma (download) is uitgebracht. Deze release lost de volgende problemen op:

• Wanneer u een HTTP-proxy gebruikt waarvoor Cloud Fetch is ingeschakeld, retourneert de connector geen grote gegevenssetresultaten.
• Kleine tekstproblemen in Databricks-licentietekst. Documentatiekoppelingen ontbreken.
• De namen van de JAR-bestanden waren onjuist. In plaats van SparkJDBC41.jar had het DatabricksJDBC41.jar moeten zijn. In plaats van SparkJDBC42.jar had het DatabricksJDBC42.jar moeten zijn.

Databricks Feature Store-client nu beschikbaar op PyPI

26 augustus 2022

De Feature Store-client is nu beschikbaar op PyPI. De client vereist Databricks Runtime 9.1 LTS of hoger en kan worden geïnstalleerd met behulp van:

%pip install databricks-feature-store

De client is al verpakt met Databricks Runtime voor Machine Learning 9.1 LTS en hoger.

De client kan niet worden uitgevoerd buiten Databricks; U kunt deze echter lokaal installeren om hulp te bieden bij het testen van eenheden en voor aanvullende IDE-ondersteuning (bijvoorbeeld automatisch aanvullen). Zie De Python-client van Databricks Feature Store voor meer informatie

Unity Catalog is algemeen beschikbaar

25 augustus 2022

Unity Catalog is algemeen beschikbaar. Zie de release-opmerking van Unity Catalog GA voor gedetailleerde functieaankondigingen en beperkingen.

Delta Delen is algemeen beschikbaar

25 augustus 2022

Delta Sharing is nu algemeen beschikbaar, te beginnen met Databricks Runtime 11.1. Zie Wat is Delta Delen?voor meer informatie.

• Databricks-to-Databricks Delta Sharing wordt volledig beheerd zonder dat tokens hoeven te worden uitgewisseld.
• Providers, ontvangers en shares maken en beheren met een eenvoudige gebruikersinterface.
• Providers, ontvangers en shares maken en beheren met SQL- en REST-API's met volledige CLI- en Terraform-ondersteuning.
• Voer queries uit op veranderingen in gegevens of deel incrementele versies met Change Data Feeds.
• Beperk de toegang van geadresseerden tot het downloaden van referentiebestanden of het opvragen van gegevens met behulp van IP-toegangslijsten en regiobeperkingen.
• Het gebruik van Delta Delen om gegevens te delen binnen hetzelfde Azure Databricks-account is standaard ingeschakeld.
• Scheiding van taken afdwingen door het beheer van Delta Sharing te delegeren aan niet-beheerders.

Databricks Runtime 11.2 (bèta)

23 augustus 2022

Databricks Runtime 11.2, 11.2 Photon en 11.2 ML zijn nu beschikbaar als bètaversies.

Zie de volledige releaseopmerkingen bij Databricks Runtime 11.2 (EoS) en Databricks Runtime 11.2 voor Machine Learning (EoS).

Minder berichtvolume in de DLT-gebruikersinterface voor continue pijplijnen

22-29 augustus 2022: versie 3.79

Met deze release worden de statusovergangen voor livetabellen in een continue DLT-pijplijn alleen weergegeven in de gebruikersinterface totdat de tabellen de status Actief invoeren. Eventuele overgangen met betrekking tot een geslaagde hercomputatie van de tabellen worden niet weergegeven in de gebruikersinterface, maar zijn beschikbaar in het DLT-gebeurtenislogboek op het niveau VAN METRICS. Eventuele overgangen naar foutstatussen worden nog steeds weergegeven in de gebruikersinterface. Voorheen werden alle statusovergangen weergegeven in de gebruikersinterface voor livetabellen. Deze wijziging vermindert het volume van pijplijngebeurtenissen die worden weergegeven in de gebruikersinterface en maakt het gemakkelijker om belangrijke berichten voor uw pijplijnen te vinden. Raadpleeg de pijplijngebeurtenislogboek voor meer informatie over het uitvoeren van query's op het gebeurtenislogboek.

Eenvoudigere clusterconfiguratie voor uw DLT-pijplijnen

22-29 augustus 2022: versie 3.79

U kunt nu een clustermodus selecteren, automatisch schalen of vaste grootte, rechtstreeks in de DLT-gebruikersinterface wanneer u een pijplijn maakt. Voorheen vereist het configureren van een cluster voor automatisch schalen wijzigingen in de JSON-instellingen van de pijplijn. Zie Een pijplijnupdate uitvoeren voor meer informatie over het maken van een pijplijn en de nieuwe clustermodusinstelling.

Dbt-taken in uw Databricks-werkstromen organiseren (openbare preview)

22-29 augustus 2022: versie 3.79

U kunt uw dbt-kernproject uitvoeren als een taak in een Azure Databricks-taak met de nieuwe dbt-taak, zodat u uw dbt-transformaties kunt opnemen in een werkstroom voor gegevensverwerking. Uw werkstroom kan bijvoorbeeld gegevens opnemen met automatisch laden, de gegevens transformeren met dbt en de gegevens analyseren met een notebooktaak. Zie Dbt-transformaties gebruiken in Lakeflow-taken voor meer informatie over de dbt-taak, inclusief een voorbeeld. Zie Lakeflow-taken voor meer informatie over het maken, uitvoeren en plannen van een werkstroom met een dbt-taak.

Identiteitsfederatie is GA

25 augustus 2022

Identiteitsfederatie vereenvoudigt het beheer van Azure Databricks door u in staat te stellen gebruikers, service-principals en groepen toe te wijzen aan werkruimten met identiteitsfederatie. U kunt nu al uw gebruikers, service-principals en groepen eenmaal configureren en beheren in de accountconsole, in plaats van de configuratie afzonderlijk in elke werkruimte te herhalen. Zie Identiteiten toewijzen aan werkruimten voor meer informatie over identiteitsfederatie. Zie Identiteitsfederatie om aan de slag te gaan.

Partner Connect ondersteunt verbinding maken met Stardog

24 augustus 2022

U kunt nu eenvoudig een verbinding maken tussen Stardog en uw Azure Databricks-werkruimte met behulp van Partner Connect. Stardog biedt een kennisgrafiekplatform voor het beantwoorden van complexe query's in gegevenssilo's.

Integratie van Databricks Feature Store met Serverloze Realtime Inferentie

22-29 augustus 2022: versie 3.79

Databricks Feature Store ondersteunt nu het automatisch opzoeken van features voor serverloze realtime inferentie. Zie Model serving met automatische functiezoekfunctie voor meer informatie.

Aanvullende ondersteuning voor gegevenstypen voor het automatisch opzoeken van functies in Databricks Feature Store

22-29 augustus 2022: versie 3.79

Databricks Feature Store biedt nu ondersteuning BooleanType voor het automatisch opzoeken van functies. Zie Model serveren met automatische functiezoekactie.

Breng je eigen sleutel mee: Git-referenties versleutelen

23-29 augustus 2022

U kunt een encryptiesleutel gebruiken voor Git-referenties voor Databricks-repositories.

Zie Git-referenties versleutelen.

Cluster UI-preview en toegangsmethode vervangt de beveiligingsmodus

19 augustus 2022

De nieuwe gebruikersinterface voor Cluster maken is in preview. Raadpleeg de referentie voor configuratie-instellingen.

Beperkingen voor Unity Catalog (openbare preview)

16 augustus 2022

• Scala, R en workloads die de Machine Learning Runtime gebruiken, worden alleen ondersteund op clusters met behulp van de modus voor toegang tot één gebruiker. Workloads in deze talen bieden geen ondersteuning voor het gebruik van dynamische weergaven voor beveiliging op rij- of kolomniveau.
• Ondiepe klonen worden niet ondersteund wanneer Unity Catalog als de bron of het doel van de kloon wordt gebruikt.
• Bucketing wordt niet ondersteund voor Unity Catalog-tabellen. Opdrachten die een bucketed tabel in Unity Catalog proberen te maken, genereren een uitzondering.
• De overschrijfmodus voor DataFrame-schrijfbewerkingen in Unity Catalog wordt alleen ondersteund voor Delta-tabellen, niet voor andere bestandsindelingen. De gebruiker moet de CREATE bevoegdheid hebben voor het bovenliggende schema en moet de eigenaar van het bestaande object zijn.
• Streaming heeft momenteel de volgende beperkingen:
  • Het wordt niet ondersteund in clusters met behulp van de modus voor gedeelde toegang. Voor streamingworkloads moet u de toegangsmodus voor één gebruiker gebruiken.
  • Asynchrone controlepunten worden nog niet ondersteund.
  • Streamingquery's die langer dan 30 dagen op alle pupors of taakclusters duren, genereren een uitzondering. Voor langdurige streamingquery's configureert u automatische pogingen tot herstart.
• Verwijzingen naar Unity Catalog-tabellen van DLT-pijplijnen worden momenteel niet ondersteund.
• Groepen die eerder in een werkruimte zijn gemaakt, kunnen niet worden gebruikt in Unity Catalog GRANT verklaringen. Dit is om een consistente weergave te garanderen van groepen die over meerdere werkruimten kunnen beschikken. Als u groepen wilt gebruiken in GRANT-instructies, maakt u uw groepen aan in de accountconsole en werkt u de automatiseringsprocessen bij voor het beheer van principals of groepen (zoals SCIM-, Okta- en Microsoft Entra ID-connectors en Terraform) om te verwijzen naar accounteindpunten in plaats van werkruimte-eindpunten.

Unity Catalog is beschikbaar in de volgende regio's:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Als u Unity Catalog in een andere regio wilt gebruiken, neemt u contact op met uw accountteam.

Serverloze real-time inferentie in openbare preview

16 augustus 2022

Serverloze realtime deductie verwerkt uw machine learning-modellen met behulp van MLflow en maakt ze beschikbaar als REST API-eindpunten. Deze functionaliteit maakt gebruik van serverloze compute, wat betekent dat de eindpunten en bijbehorende rekenresources worden beheerd en uitgevoerd in het Azure Databricks-cloudaccount. Gebruiks- en opslagkosten zijn momenteel gratis, maar Azure Databricks zal u op de hoogte stellen wanneer het opladen begint.

Workspace-beheerders moeten Serverless Real-Time Inferentie inschakelen in uw werkruimte om deze functie te gebruiken.

Neem contact op met uw Azure Databricks-accountteam om deel te nemen aan de openbare preview van Serverless Real-Time Inference.

Verbeterde zoekfunctie voor werkruimten is nu algemeen beschikbaar

9 augustus 2022

U kunt nu op naam zoeken naar notitieblokken, bibliotheken, mappen, bestanden en opslagplaatsen. U kunt ook zoeken naar inhoud in een notitieblok en een voorbeeld van de overeenkomende inhoud bekijken. Zoekresultaten kunnen worden gefilterd op type. Zie Zoeken naar werkruimteobjecten.

Gegenereerde kolommen gebruiken wanneer u DLT-gegevenssets maakt

8-15 augustus 2022: versie 3.78

U kunt nu gegenereerde kolommen gebruiken wanneer u tabellen in uw DLT-pijplijnen definieert. Gegenereerde kolommen worden ondersteund door de DLT Python - en SQL-interfaces .

Verbeterde bewerking voor notitieblokken met op Monaco gebaseerde editor (experimenteel)

8-15 augustus 2022

Er is een nieuwe op Monaco gebaseerde code-editor beschikbaar voor Python-notebooks. Als u dit wilt inschakelen, schakelt u de optie De nieuwe notitieblokeditor in op het tabblad Editorinstellingen op de pagina Gebruikersinstellingen.

De nieuwe editor bevat hints voor het parametertype, objectinspectie bij aanwijzen, codevouwen, ondersteuning voor meerdere cursors, selectie van kolommen (vak) en diffs naast elkaar in de versiegeschiedenis van het notitieblok.

Ondersteuning voor Databricks Runtime 10.3-serie eindigt

2 augustus 2022

Ondersteuning voor Databricks Runtime 10.3 en Databricks Runtime 10.3 voor Machine Learning is beëindigd op 2 augustus. Zie de ondersteuningslevenscycli van Databricks.

Privéconnectiviteit inschakelen met Azure Private Link (openbare preview)

2 augustus 2022

Azure Databricks biedt nu ondersteuning voor het inschakelen van Azure Private Link-verbindingen voor privéconnectiviteit tussen gebruikers en hun Azure Databricks-werkruimten, en ook tussen clusters op het rekenvlak en de kernservices op het besturingsvlak binnen de Databricks-werkruimte-infrastructuur. Azure Private Link maakt rechtstreeks verbinding met services zonder dat het verkeer beschikbaar wordt gemaakt voor het openbare netwerk. Deze functie is beschikbaar als openbare preview. Zie concepten van Azure Private Link.

Serverloze SQL-warehouses inschakelen voor uw werkruimte (openbare preview)

2 augustus 2022

Serverloze SQL-warehouses zijn nu beschikbaar voor accounts en werkruimten in Azure Databricks als openbare preview. Voor deze functie is de Premium-prijscategorie vereist. Voordat u serverloze SQL-warehouses maakt, moet een beheerder deze inschakelen voor de werkruimte.

DLT biedt nu ondersteuning voor het vernieuwen van alleen geselecteerde tabellen in pijplijnupdates

2-24 augustus 2022

U kunt nu een update starten voor alleen geselecteerde tabellen in een DLT-pijplijn. Deze functie versnelt het testen van pijplijnen en het oplossen van fouten door u in staat te stellen een pijplijnupdate te starten die alleen geselecteerde tabellen vernieuwt. Zie Een pijplijnupdate uitvoeren voor meer informatie over het starten van een update van alleen geselecteerde tabellen.

Taakuitvoering wacht nu totdat de installatie van clusterbibliotheken is voltooid

1 augustus 2022

Wanneer een cluster wordt gestart, wachten uw Databricks-taken totdat de installatie van clusterbibliotheken is voltooid voordat ze worden uitgevoerd. Voorheen wachten taakuitvoeringen tot bibliotheken alleen op alle doelclusters worden geïnstalleerd als ze zijn opgegeven als een afhankelijke bibliotheek voor de taak. Zie Taken configureren en bewerken in Lakeflow-taken voor meer informatie over het configureren van afhankelijke bibliotheken voor taken.