Mei 2020

Deze functies en azure Databricks-platformverbeteringen zijn uitgebracht in mei 2020.

VM’s uit de Easv4-serie (bètaversie)

29 mei 2020

Azure Databricks biedt nu bèta-ondersteuning voor VM's uit de Easv4-serie , die gebruikmaken van een premium SSD en een verhoogd maximumfrequentie van 3,35 GHz kunnen bereiken. Deze exemplaartypen kunnen de prestaties van uw workload optimaliseren voor geheugenintensieve bedrijfstoepassingen.

Algemene beschikbaarheid van Databricks Runtime 6.6 voor Genomics

26 mei 2020

Databricks Runtime 6.6 voor Genomics is gebaseerd op Databricks Runtime 6.6 en bevat de volgende nieuwe functies:

• GFF3-lezer
• Ondersteuning voor een aangepaste referentie-genoom
• Time-outs per voorbeeldpijplijn
• BAM-exportoptie
• Manifestblobs

Algemene beschikbaarheid van Databricks Runtime 6.6 ML

26 mei 2020

Databricks Runtime 6.6 ML is gebouwd op Databricks Runtime 6.6 en bevat de volgende nieuwe functies:

• Bijgewerkte mlflow: 1.7.0 naar 1.8.0

Raadpleeg de volledige releaseopmerkingen voor Databricks Runtime 6.6 ML (EoS) voor meer informatie.

Algemene beschikbaarheid van Databricks Runtime 6.6

26 mei 2020

Databricks Runtime 6.6 biedt veel bibliotheekupgrades en nieuwe functies, waaronder de volgende Delta Lake-functies:

• U kunt nu het schema van de tabel automatisch ontwikkelen met de merge bewerking. Dit is handig in scenario's waarin u wijzigingsgegevens in een tabel wilt upserten en waarbij het schema van de gegevens in de loop van de tijd verandert. In plaats van schemawijzigingen te detecteren en toe te passen voordat je de gegevens upsert, kan merge tegelijk het schema aanpassen en de wijzigingen upserten. Zie Automatische schemaontwikkeling voor samenvoegen.
• De prestaties van samenvoegbewerkingen die alleen overeenkomende delen hebben, dat wil zeggen, ze hebben alleen update en delete acties en geen insert actie, zijn verbeterd.
• Parquet-tabellen waarnaar wordt verwezen in de Hive-metastore zijn nu converteerbaar naar Delta Lake via hun tabel-id's met behulp van CONVERT TO DELTA.

Zie de volledige releaseopmerkingen voor Databricks Runtime 6.6 (EoS) voor meer informatie.

Limiet voor eindpuntgrootte voor DBFS REST API verwijderen

21-28 mei 2020: versie 3.20

Wanneer u een groot aantal bestanden recursief verwijdert met behulp van de DBFS-API, wordt de verwijderbewerking in stappen uitgevoerd. De aanroep retourneert een antwoord na ongeveer 45s met een foutbericht waarin u wordt gevraagd de verwijderbewerking opnieuw aan te roepen totdat de mapstructuur volledig is verwijderd. Voorbeeld:

{
  "error_code": "PARTIAL_DELETE",
  "message": "The requested operation has deleted 324 files. There are more files remaining. You must make another request to delete more."
}

Grote aantallen geregistreerde MLflow-modellen gemakkelijk weergeven

21-28 mei 2020: versie 3.20

Het MLflow-modelregister ondersteunt nu zoeken en pagineren aan de serverzijde voor geregistreerde modellen, waardoor organisaties met grote aantallen modellen efficiënt lijsten en zoekopdrachten kunnen uitvoeren. Net als voorheen kunt u modellen zoeken op naam en resultaten sorteren op naam of de laatst bijgewerkte tijd. Als u echter een groot aantal modellen hebt, worden de pagina's veel sneller geladen en wordt de meest recente weergave van modellen opgehaald.

Bibliotheken die zijn geconfigureerd om op alle clusters te worden geïnstalleerd, worden niet geïnstalleerd op clusters die Databricks Runtime 7.0 en hoger uitvoeren

21-28 mei 2020: versie 3.20

In Databricks Runtime 7.0 en hoger gebruikt de onderliggende versie van Apache Spark Scala 2.12. Omdat bibliotheken die zijn gecompileerd op Scala 2.11 Databricks Runtime 7.0-clusters op onverwachte manieren kunnen uitschakelen, installeren clusters met Databricks Runtime 7.0 en hoger geen bibliotheken die zijn geconfigureerd voor installatie op alle clusters. Op de Clusterbibliotheken-tab ziet u een status Skipped en een verouderingsbericht met betrekking tot de wijzigingen in het beheer van bibliotheken.

Als u een cluster hebt dat is gemaakt op een eerdere versie van Databricks Runtime voordat 3.20 is uitgebracht in uw werkruimte en u dat cluster nu bewerkt om Databricks Runtime 7.0 te gebruiken, worden alle bibliotheken die zijn geconfigureerd voor installatie op alle clusters op dat cluster geïnstalleerd. In dit geval kunnen incompatibele JAR's in de geïnstalleerde bibliotheken ertoe leiden dat het cluster wordt uitgeschakeld. De tijdelijke oplossing is om het cluster te klonen of om een nieuw cluster te maken.

Databricks Runtime 7.0 voor Genomics (bètaversie)

21 mei 2020

Databricks Runtime 7.0 voor Genomics is gebaseerd op Databricks Runtime 7.0 en bevat de volgende bibliotheekwijzigingen:

• De ADAM-bibliotheek is bijgewerkt van versie 0.30.0 naar 0.32.0.
• De Hail-bibliotheek is niet opgenomen in Databricks Runtime 7.0 voor Genomics, omdat er geen release is gebaseerd op Apache Spark 3.0.

Databricks Runtime 7.0 ML (bètaversie)

21 mei 2020

Databricks Runtime 7.0 ML is gebouwd op Databricks Runtime 7.0 en bevat de volgende nieuwe functies:

• Python-bibliotheken met notebookbereik en aangepaste omgevingen die worden beheerd door conda- en pip-opdrachten.
• Updates voor belangrijke Python-pakketten, waaronder tensorflow, tensorboard, pytorch, xgboost, sparkdl en hyperopt.
• Nieuw toegevoegde Python-pakketten lightgbm, nltk, petastorm en plotly.
• RStudio Server Open Source v1.2.

Zie de volledige releaseopmerkingen voor Databricks Runtime 7.0 ML (EoS) voor meer informatie.

Databricks Runtime 6.6 voor Genomics (bètaversie)

7 mei 2020

Databricks Runtime 6.6 voor Genomics is gebaseerd op Databricks Runtime 6.6 en bevat de volgende nieuwe functies:

• GFF3-lezer
• Ondersteuning voor een aangepaste referentie-genoom
• Time-outs per voorbeeldpijplijn
• BAM-exportoptie
• Manifestblobs

Databricks Runtime 6.6 ML (bètaversie)

7 mei 2020

Databricks Runtime 6.6 ML is gebouwd op Databricks Runtime 6.6 en bevat de volgende nieuwe functies:

• Bijgewerkte mlflow: 1.7.0 naar 1.8.0

Raadpleeg de volledige releaseopmerkingen voor Databricks Runtime 6.6 ML (EoS) voor meer informatie.

Databricks Runtime 6.6 (bètaversie)

7 mei 2020

Databricks Runtime 6.6 (bèta) biedt veel bibliotheekupgrades en nieuwe functies, waaronder de volgende Delta Lake-functies:

• U kunt nu het schema van de tabel automatisch ontwikkelen met de merge bewerking. Dit is handig in scenario's waarin u wijzigingsgegevens in een tabel wilt upserten en waarbij het schema van de gegevens in de loop van de tijd verandert. In plaats van schemawijzigingen te detecteren en toe te passen voordat je de gegevens upsert, kan merge tegelijk het schema aanpassen en de wijzigingen upserten. Zie Automatische schemaontwikkeling voor samenvoegen.
• De prestaties van samenvoegbewerkingen die alleen overeenkomende delen hebben, dat wil zeggen, ze hebben alleen update en delete acties en geen insert actie, zijn verbeterd.
• Parquet-tabellen waarnaar wordt verwezen in de Hive-metastore zijn nu converteerbaar naar Delta Lake via hun tabel-id's met behulp van CONVERT TO DELTA.

Zie de volledige releaseopmerkingen voor Databricks Runtime 6.6 (EoS) voor meer informatie.

Taakclusters nu gelabeld met taaknaam en -id

5-12 mei 2020: versie 3.19

Taakclusters worden automatisch gelabeld met de taaknaam en -id. De tags worden weergegeven in de factureerbare gebruiksrapporten, zodat u eenvoudig uw DBU-gebruik per taak kunt toewijzen en afwijkingen kunt identificeren. De tags worden opgeschoond voor clustertagspecificaties, zoals toegestane tekens, maximale grootte en maximum aantal tags. De taaknaam bevindt zich in de RunName tag en de taak-id bevindt zich in de JobId tag.

Verwijderde notebookcellen herstellen

5-12 mei 2020: versie 3.19

U kunt verwijderde cellen nu herstellen met de sneltoets (Z) of door Bewerken > Verwijderen van cellen ongedaan te makente selecteren.

Wachtrijlimiet voor openstaande taken

5-12 mei 2020: versie 3.19

Een werkruimte is nu beperkt tot 1000 actieve (lopende en in behandeling zijnde) taakuitvoeringen. Omdat een werkruimte beperkt is tot 150 gelijktijdige (lopende) taakuitvoeringen, kan een werkruimte maximaal 850 uitvoeringen in de wachtrij hebben.