Augustus 2024

Deze functies en azure Databricks-platformverbeteringen zijn uitgebracht in augustus 2024.

Het gebruik van Unity Catalog-objecten bewaken op basis van quota met behulp van de nieuwe resourcequota-API's

30 augustus 2024

Met de nieuwe resourcequota-API's kunt u het gebruik van beveiligbare objecten in Unity Catalog bewaken op basis van resourcequota. Binnenkort kunt u ook e-mailmeldingen ontvangen wanneer u quotumlimieten nadert. Zie Controleer uw gebruik van Unity Catalog resource quota's. en de Resource Quotas API-referentie.

MPT 7B Instruct en MPT 30B Instruct modeluitfasering.

30 augustus 2024

De MPT 7B Instruct- en MPT 30B Instruct-modellen worden nu buiten gebruik gesteld. Zie Buiten gebruik gestelde modellen voor aanbevolen vervangingsmodellen.

AskSupport vervangen door Azure Databricks-assistent

29 augustus 2024

AskSupport, het databricks Slack-ondersteuningskanaal, is vervangen door Databricks Assistant, die beschikbaar is in uw Databricks-werkruimte. Gebruik Databricks Assistant om technische documentatie te doorzoeken, tickets te maken en contextbewuste ondersteuning te krijgen.

Importeerbaar dashboard voor kostenbeheer toegevoegd aan accountconsole (openbare preview)

28 augustus 2024

Accountbeheerders kunnen nu een aanpasbaar dashboard voor kostenbeheer importeren vanuit de accountconsole in elke Unity Catalog-werkruimte in hun account. Er zijn twee versies van het dashboard: een versie die het gebruik voor het hele account bewaakt en een andere voor het gebruik van één werkruimte.

Lakeflow-systeemtabellen worden uitgebreid met extra kolommen

23 augustus 2024

De tabellen in system.lakeflow schema worden uitgebreid met extra kolommen. De volgende wijzigingen zijn aangebracht:

• jobs wordt uitgebreid met description kolom.
• job_run_timeline wordt uitgebreid met kolommen run_type, run_name, compute_ids, termination_code en job_parameters.
• job_task_run_timeline wordt uitgebreid met kolommen job_run_id, parent_run_id en termination_code.

De schemawijziging breekt niet af en onderbreekt uw bestaande werkstromen niet. De nieuwe kolommen worden niet teruggevuld voor al verzonden rijen. Zie voor meer informatie Jobs-systeemtabelreferentie.

Markeringen van fouten bij het opmaken van Python-code

23 augustus 2024

Python-code in notebooks en bestandbewerkers kan markeringen maken voor opmaakfouten en waarschuwingen, zoals onverwachte inspringing, lange regellengte en meer. Zie Python-foutmarkeringen.

Delta delen: Meer Delta Lake-functies die nu worden ondersteund door de Python- en Power BI-connectors

21 augustus 2024

Delta Sharing Python-connector 1.1.0+ en Power BI v2.132.908.0+ bieden nu ondersteuning voor:

• Naammodus voor kolommapping
• Verwijderingsvectoren
• Uniforme indeling

Deze Delta Lake-functies werden al ondersteund in Databricks Runtime 14.1+ en opensource Delta Sharing Apache Spark-connector 3.1+.

Zie de ondersteuningsmatrix voor Delta Lake-functies.

Delta Sharing voegt ondersteuning toe voor TimestampNTZ

21 augustus 2024

Delta Sharing voegt ondersteuning toe voor TimestampNTZ op Databricks Runtime 14.1 en hoger en opensource Delta Sharing Apache Spark-connector 3.3 en hoger.

Zie de ondersteuningsmatrix voor Delta Lake-functies.

De Azure Databricks-jobs For each taak is algemeen beschikbaar

21 augustus 2024

De For each taak is nu algemeen beschikbaar. U kunt de For each taak gebruiken om een andere taak in een lus uit te voeren en een andere set parameters door te geven aan elke iteratie van de taak. De For each taak kan een van de standaardtaaktaken herhalen, zoals een notebook, JAR, Python-script of SQL-taak. Zie Een For each taak gebruiken om een andere taak in een lus uit te voeren.

Azure RBAC-machtiging voor werkruimtebeheerders

20 augustus 2024

Voorheen was de ingebouwde rol Bijdrager of Eigenaar van Azure RBAC (rolgebaseerd toegangsbeheer) vereist om een gebruiker de beheerdersrol van de Azure Databricks-werkruimte vanuit Azure te verlenen. U kunt nu een aangepaste Azure RBAC-rol maken met de machtiging Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action om een gebruiker de beheerdersrol azure Databricks-werkruimte te verlenen. Deze gebruikers kunnen hun Azure Databricks-service beheren en diagnostische logboekregistratie configureren. Zie Vereiste Azure-beheerdersmachtigingen voor meer informatie.

Databricks Runtime 15.4 LTS is in algemene beschikbaarheid

19 augustus 2024

Databricks Runtime 15.4 LTS en Databricks Runtime 15.4 LTS ML zijn nu algemeen beschikbaar.

Zie Databricks Runtime 15.4 LTS en Databricks Runtime 15.4 LTS voor Machine Learning.

Gepersonaliseerd notitieblok automatisch aanvullen

19 augustus 2024

Automatisch aanvullen van notebooks geeft nu prioriteit aan suggesties op basis van je persoonlijke Unity Catalog metagegevens en gebruik, met een gepersonaliseerde suggestievolgorde voor elke gebruiker. Zie Gepersonaliseerde automatische aanvulling

Symlinks worden nu ondersteund in bestanden van de werkruimte

18 augustus 2024

Gebruikers kunnen nu symlinks maken in de webterminal en notebookcellen. Als u de muisaanwijzer boven een symlink houdt, verschijnt er een tooltip met het onderliggende pad en de optie om het pad te kopiëren. Alle doelen moeten zich in de map /Workspace bevinden.

De standaardtoegangsmodus van uw werkruimte configureren voor het berekenen van taken

16 augustus 2024

Werkruimtebeheerders kunnen nu de standaardtoegangsmodus configureren voor het berekenen van taken in hun werkruimte. Deze standaardtoegangsmodus wordt toegepast op rekenresources zonder een gedefinieerde toegangsmodus. Zie de standaardtoegangsmodus voor het berekenen van taken voor meer informatie.

Nieuwe slash-commando's voor Databricks Assistant

14 augustus 2024

Databricks Assistant heeft de volgende slash-commando's toegevoegd als snelkoppelingen voor algemene taken.

• /findTables: zoekt naar relevante tabellen op basis van metagegevens van Unity Catalog.
• /findQueries: zoekt naar relevante query's op basis van metagegevens van Unity Catalog.
• /prettify: Hiermee wordt code opgemaakt voor leesbaarheid.
• /rename: Hiermee worden bijgewerkte namen voorgesteld voor notebookcellen en andere elementen, afhankelijk van de context.
• /settings: hiermee past u uw notitieblokinstellingen rechtstreeks vanuit Assistent aan.

Voor meer informatie, zie Slash-opdrachten gebruiken voor prompts.

Zoeken in werkruimte ondersteunt vanaf nu volumes

14 augustus 2024

Volumes worden nu opgenomen in zoekresultaten. Zie Zoeken naar werkruimteobjecten.

Meta Llama 3.1 405B-modellen die worden ondersteund bij de fine-tuning van Foundation-modellen

14 augustus 2024

Meta Llama 3.1 405B-modellen worden nu ondersteund in Foundation Model Fine-tuning. Zie Ondersteunde modellen.

Databricks JDBC-stuurprogramma 2.6.40

13 augustus 2024

Databricks JDBC-stuurprogrammaversie 2.6.40 is nu beschikbaar via het downloaden van het JDBC-stuurprogramma. In deze release worden overbodige WARNING logboekberichten verwijderd om de bruikbaarheid en beveiliging van logboekregistratie te vergroten.

Deze release bevat de volgende verbeteringen en nieuwe functies:

• Ondersteuning voor OIDC-detectie-eindpunten. Het stuurprogramma kan nu een OIDC-detectie-eindpunt instellen om een token op te halen en een autorisatie-eindpunt op te halen.
• Bijgewerkte Arrow-ondersteuning. Het stuurprogramma gebruikt nu Apache Arrow versie 14.0.2. Eerdere versies van het stuurprogramma gebruikt Apache Arrow versie 9.0.0.
• ProxyIgnoreList ondersteuning. Het stuurprogramma ondersteunt nu ProxyIgnoreList eigenschap wanneer UseProxy is ingesteld op 1.
• Ondersteuning voor verversingstoken. Het stuurprogramma ondersteunt nu een optioneel verversingstoken. Het toegangstoken wordt opgeslagen en opnieuw gebruikt voor nieuwe verbindingen zolang het geldig is. Als de driver het toegangstoken niet kan vernieuwen met behulp van het refresh token, meldt het zich opnieuw aan.
• Ondersteuning voor verificatie bijgewerkt. Het stuurprogramma ondersteunt nu verificatie op basis van browsers (U2M) en clientreferenties (M2M) in Google Cloud.
• Geïntegreerde standaard-OAuth-opties toegevoegd.
• U kunt nu de OAuth-omleidingspoort configureren. Hiervoor stelt u de eigenschap OAuth2RedirectUrlPort in op uw poort.

Zie de Databricks JDBC-stuurprogrammahandleiding die is geïnstalleerd met het downloadpakket voor stuurprogramma's voor volledige configuratie.

Persoonlijke toegangstokens van Databricks ingetrokken als deze na 90 dagen niet worden gebruikt

13 augustus 2024

Databricks trekt nu automatisch alle persoonlijke toegangstokens (PAT's) in die in 90 of meer dagen niet zijn gebruikt. Zie Persoonlijke toegangstokens bewaken en intrekkenvoor meer informatie.

Clusters-API ondersteunt nu gedeeltelijke configuratie-updates

13 augustus 2024

Met een nieuwe API-aanroep kunt u een clusterconfiguratie gedeeltelijk bijwerken, waarbij u alleen de kenmerken opgeeft die u wilt bijwerken. Zie Clusterconfiguratie bijwerken (gedeeltelijk) in de REST API-verwijzing.

Regels laten teruglopen in notebookcellen

12 augustus 2024

U kunt nu regelterugloop in notitieblokcellen in- of uitschakelen, zodat tekst op meerdere regels terugloopt of op één regel blijft met horizontaal schuiven. Zie Afbreken van regels.

Specificeer kolommen om te synchroniseren voor Mosaic AI Vector Search

12 augustus 2024

U kunt nu een subset van kolommen in een tabel opgeven die moeten worden gebruikt in een vectorzoekindex. De primaire sleutelkolom en de insluitkolom worden altijd gesynchroniseerd. Zie Eindpunten en indexen voor vectorzoekopdrachten maken.

Bestanden kunnen geen identieke namen meer hebben in werkruimtemappen

9 augustus 2024

Databricks voorkomt nu dat u assets in werkruimtemappen maakt of hernoemt wanneer de naam van een asset exact overeenkomt met de naam van een ander bestand, rekening houdt met de bestandsextensie van de asset. U kunt bijvoorbeeld geen bestand meer maken met de naam test.py als er al een notitieblok is met een basisnaam van test met een extensie van .py in dezelfde werkruimtemap.

Zie Het benoemen van assets in werkruimtemappen voor meer informatie.

Het afdwingen van het computerbeleid is nu beschikbaar

8 augustus 2024

Met afdwingen van beleidsnaleving kunnen werkruimtebeheerders de rekenresources van hun werkruimte bijwerken om te voldoen aan de nieuwste versie van een beleid. Deze functie kan worden gebruikt in de gebruikersinterface of via de API voor clusterbeleid.

Zie Naleving van beleid afdwingen of API voor clusterbeleid.

Foundation Model-API's betalen per token is nu beschikbaar voor algemeen gebruik

7 augustus 2024

Basismodel-API's betalen per token is nu algemeen beschikbaar. Zie Pay-per-token Foundation Model-API's.

Veilig en privé samenwerken aan gegevensprojecten met databricks Clean Rooms (openbare preview)

6 augustus 2024

Databricks Clean Rooms maakt gebruik van Delta Sharing en serverloze berekeningen om een veilige en privacybeveiligde omgeving te bieden waar meerdere partijen gevoelige bedrijfsgegevens kunnen delen en kunnen samenwerken zonder directe toegang tot elkaars gegevens.

Met Clean Rooms kunnen gebruikers van andere Databricks-accounts samenwerken om unieke inzichten te genereren over gedeelde projecten, zoals reclamecampagnes, investeringsbeslissingen of onderzoek en ontwikkeling, zonder gevoelige gegevens te verplaatsen of weer te geven. Voer complexe workloads uit in een kortstondige omgeving met behulp van elke taal die wordt ondersteund door Databricks-notebooks, waaronder Python, die systeemeigen ondersteuning biedt voor machine learning-workloads.

Neem contact op met uw Azure Databricks-vertegenwoordiger om het uit te proberen.

Bekijk wat is Azure Databricks Clean Rooms?

Mosaic AI Vector Search voldoet nu aan HIPAA

6 augustus 2024

Mosaic AI Vector Search is nu HIPAA-compatibel in alle regio's.

Kolommen opmaken in tabellen met notebook- en queryresultaten

6 augustus 2024

Pas de resultatentabellen aan zodat deze beter leesbaar zijn met opties voor kolomopmaak, zoals Valuta, Percentage, URL-, controle over decimalen en meer. Zie Kolommen opmaken.

Rijfilters en kolommaskers zijn nu algemeen beschikbaar, met verbeteringen.

6 augustus 2024

De mogelijkheid om rijfilters en kolommaskers toe te passen op tabellen is nu algemeen beschikbaar op Databricks Runtime 12.2 en hoger. Rijfilters en colummaskers voorkomen toegang tot gevoelige gegevens door opgegeven gebruikers. Deze filters en maskers worden geïmplementeerd als door de gebruiker gedefinieerde SQL-functies (UDF's). GA biedt ondersteuning voor de volgende functionaliteit die niet beschikbaar was in de openbare preview:

• Constante expressies in beleidsparameters (tekenreeksen, numeriek, intervallen, booleaanse waarden, null-waarden).

• Gematerialiseerde views en streamingtabellen (openbare preview).

• De MERGE-instructies.
• Tabelsampling.

De afzonderlijke release van ondersteuning voor fijnmazige toegangsbeheer op toegewezen compute- breidt ook de rekenopties uit voor het werken aan tabellen waarop rijfilters en kolommaskers zijn toegepast.

Zie rijfilters en kolommaskers.

Lakehouse Federation is nu algemeen beschikbaar (GA)

1 augustus 2024

In Databricks Runtime 15.2 en hoger en Databricks SQL versie 2024.30 en hoger zijn Lakehouse Federation-connectors voor de volgende databasetypen algemeen beschikbaar:

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

In deze release worden ook de volgende verbeteringen geïntroduceerd:

• Ondersteuning voor eenmalige aanmelding (SSO) verificatie in de Snowflake- en Microsoft SQL Server-connectors.

• Ondersteuning voor Azure Private Link voor de SQL Server-connector vanuit serverloze rekenomgevingen. Zie stap 3: regels voor privé-eindpunten maken.

• Ondersteuning voor extra optimalisaties (tekenreeks-, wiskunde- en diverse functies).
• Verbeterd slagingspercentage voor pushdown in verschillende queryvormen.
• Aanvullende mogelijkheden voor pushdown-debuggen:
  • In de uitvoer van EXPLAIN FORMATTED wordt de tekst van de doorgestuurde query weergegeven.
  • In de gebruikersinterface van het queryprofiel worden de doorgestuurde querytekst, de identifiers van federatieve knooppunten en de uitvoeringstijden van JDBC-query's (in uitgebreide modus) weergegeven. Zie Door het systeem gegenereerde federatieve query's weergeven.