Mei 2018

Releases worden gefaseerd. Uw Azure Databricks-account wordt mogelijk pas een week na de eerste releasedatum bijgewerkt.

Algemene Verordening Gegevensbescherming (AVG)

24 mei 2018: versie 2.72

Om te voldoen aan de vereisten van de Algemene Verordening Gegevensbescherming van de Europese Unie (AVG), die van kracht wordt op 25 mei 2018, hebben we een aantal wijzigingen aangebracht in het Azure Databricks-platform om u meer controle te bieden over gegevensretentie op account- en gebruikersniveau. De updates omvatten:

• Cluster verwijderen: een clusterconfiguratie definitief verwijderen met behulp van de gebruikersinterface of de Clusters-API. Zie Een rekenproces verwijderen.
• Werkruimte leegmaken (uitgebracht in versie 2.71): werkruimteobjecten, zoals volledige notitieblokken, afzonderlijke notebookcellen, afzonderlijke notitieblokopmerkingen, afzonderlijke notitieblokopmerkingen en revisiegeschiedenis van notitieblokken definitief verwijderen. Zie Werkruimteopslag leegmaken.
• Opschoning van revisiegeschiedenis van notitieboek
  • Verwijder de revisiegeschiedenis van alle notitieblokken in een werkruimte definitief voor een gedefinieerd tijdsbestek. Zie Werkruimteopslag leegmaken.
  • Eén notitieblokrevisie of de volledige revisiegeschiedenis van een notitieblok definitief verwijderen. Zie versiegeschiedenis in notebooks.

Zie Uw abonnement beheren voor meer informatie over het verwijderen van uw Azure Databricks-service of het annuleren van uw Azure-account.

Azure Databricks-gebruikers moeten behoren tot de Microsoft Entra ID-tenant

24 mei 2018: versie 2.72

Gebruikers kunnen zich nu alleen aanmelden bij Azure Databricks als ze deel uitmaken van de Microsoft Entra ID-tenant (voorheen Azure Active Directory) van de Azure Databricks-werkruimte. Als u gebruikers hebt die geen deel uitmaken van de Microsoft Entra ID-tenant, kunt u ze toevoegen als standaardgebruikers of gastgebruikers.

HorovodEstimator

29 mei 2018: versie 2.72

Documentatie en een notebook toegevoegd voor HorovodEstimator, een MLlib-estimator-API die gebruikmaakt van het Horovod-framework van Uber. HorovodEstimator vereenvoudigt gedistribueerde, multi-GPU-training van deep neurale netwerken in Spark DataFrames, waardoor de integratie van ETL in Spark wordt vereenvoudigd met modeltraining in TensorFlow.

MLeap ML-model exporteren

24 mei 2018: versie 2.72

Er zijn documentatie en notebooks toegevoegd over het gebruik van MLeap in Azure Databricks. Met MLeap kunt u machine learning-pijplijnen implementeren vanuit Apache Spark en scikit-learn naar een draagbare indeling en uitvoeringsengine. Zie MLeap ML model export.

Nog meer GPU-clustertypen

24 mei 2018: versie 2.72

Naast de azure NC-exemplaartypen (NC12 en NC24) die we in release 2.71 hebben toegevoegd, ondersteunen we nu de NCv3-exemplaartypereeks (NC6s_v3, NC12s_v3 en NC24s_v3) op Azure Databricks-clusters. NC- en NCv3-exemplaren bieden GPU's om beeldverwerking, tekstanalyse en andere machine learning- en deep learning-taken te activeren die rekenkrachtig zijn en superieure prestaties eisen.

Zie rekenkracht met GPU.

Notebookcellen: verbergen en weergeven

24 mei 2018: versie 2.72

Nieuwe indicatoren en meldingen maken het gemakkelijker om de inhoud van notitieblokcellen weer te geven nadat ze zijn verborgen. Zie Celinhoud verbergen en weergeven.

Zoekfunctie op documentatiesite

22 mei 2018

We hebben onze zoekfunctie voor documentensite vervangen door een beter zoekprogramma. De komende weken ziet u nog meer zoekverbeteringen.

Databricks Runtime 4.1 ML voor machine learning (bètaversie)

17 mei 2018

Databricks Runtime ML (bèta) biedt een kant-en-klare omgeving voor machine learning en data science. Het bevat meerdere populaire bibliotheken, waaronder TensorFlow, Keras en XGBoost.

Met Databricks Runtime ML kunt u een Databricks-cluster starten met alle bibliotheken die vereist zijn voor gedistribueerde TensorFlow-training. Het zorgt voor de compatibiliteit van de bibliotheken die zijn opgenomen in het cluster (tussen TensorFlow en CUDA/cuDNN, bijvoorbeeld) en vermindert de opstarttijd van het cluster aanzienlijk ten opzichte van het gebruik van init-scripts.

Zie de volledige releaseopmerkingen voor Databricks Runtime 4.1 ML (EoS).

Databricks Delta

17 mei 2018

Databricks Delta is nu beschikbaar in Private Preview voor Azure Databricks-gebruikers. Neem contact op met uw accountmanager of meld u aan op https://databricks.com/product/databricks-delta. Deze release vertegenwoordigt een kandidaatrelease in afwachting van de aanstaande GA-release.

Zie Databricks Runtime 4.1 (EoS) en Wat is Delta Lake in Azure Databricks? voor meer informatie.

Display()-ondersteuning voor afbeeldingsgegevenstypen

17 mei 2018

In Databricks Runtime 4.1 worden in display() nu kolommen met afbeeldingsgegevenstypen als uitgebreide HTML weergegeven.

Zie Visualisaties in Databricks-notebooks en SQL-editor.

GPU-clustertypen

15 mei 2018: versie 2.71

We zijn verheugd om ondersteuning voor Azure NC-exemplaartypen (NC12 en NC24) op Azure Databricks-clusters aan te kondigen. NC-exemplaren bieden GPU's voor het verwerken van afbeeldingen, tekstanalyse en andere machine learning- en deep learning-taken die rekenkrachtig zijn en superieure prestaties eisen.

Azure Databricks biedt ook vooraf geïnstalleerde NVIDIA-stuurprogramma's en -bibliotheken die zijn geconfigureerd voor GPU's, samen met materiaal om aan de slag te gaan met verschillende populaire Deep Learning-bibliotheken.

Zie ook:

• Rekenkracht met GPU
• AI en machine learning op Databricks

Algemene beschikbaarheid van geheimenbeheer

15 mei 2018: versie 2.71

Geheimenbeheer, dat als private preview beschikbaar was, is nu algemeen beschikbaar. Het biedt krachtige hulpprogramma's voor het beheren van de referenties die u nodig hebt voor verificatie bij externe gegevensbronnen. In plaats van uw referenties rechtstreeks in een notebook te typen, gebruikt u Databricks-geheimbeheer om uw referenties op te slaan en ernaar te verwijzen in notebooks en taken. Als u geheimen wilt beheren, kunt u de Secrets CLI (verouderd) gebruiken voor toegang tot de Geheimen-API.

Zie Geheimbeheer.

Geheimen-API-eindpunt en CLI-opdracht gewijzigd

15 mei 2018: versie 2.71

De volgende wijzigingen zijn aangebracht in de geheimen-API-eindpunten:

• Voor alle eindpunten is het hoofdpad gewijzigd van /secret in /secrets.
• Voor het eindpunt geheimen is het /secret/secrets gereduceerd tot /secrets/.
• De write methode is gewijzigd in put.

Databricks CLI 0.7.1 bevat updates voor geheimenopdrachten om te worden afgestemd op deze bijgewerkte API-eindpunten.

Zie Geheimen-API en Geheimbeheer.

Cluster vergrendelen

15 mei 2018: versie 2.71

U kunt nu een cluster vastmaken aan de clusterslijst. Hiermee kunt u de configuratie van clusters behouden die meer dan 30 dagen oud zijn.

Bovendien worden op de pagina Clusters nu alle clusters weergegeven die binnen 30 dagen zijn beëindigd (verhoogd van 7 dagen).

Zie Een computerknooppunt vastzetten.

Cluster automatisch starten

15 mei 2018: versie 2.71

Voordat deze release werd uitgevoerd, zijn taken die zijn gepland voor uitvoering op Terminated clusters mislukt. Voor clusters die zijn gemaakt in Azure Databricks versie 2.71 en hoger, worden opdrachten vanuit een JDBC-/ODBC-interface of een taak die is toegewezen aan een bestaand beëindigd cluster, dat cluster automatisch opnieuw opgestart. Zie JDBC-verbinding en Lakeflow Jobs configureren en bewerken.

Met AutoStart kunt u clusters zodanig configureren dat ze automatisch worden beëindigd, zonder dat handmatige tussenkomst nodig is om de clusters voor geplande taken opnieuw op te starten. Bovendien kunt u clusterinitialisatie plannen door een taak te plannen waarmee beëindigde clusters op een opgegeven tijdstip opnieuw worden gestart.

Toegangsbeheer voor clusters wordt afgedwongen en machtigingen voor de eigenaar van de taak worden zoals gebruikelijk gecontroleerd.

Werkruimte opschonen

15 mei 2018: versie 2.71

Als onderdeel van onze voortdurende inspanningen om te voldoen aan de Algemene Verordening Gegevensbescherming van de Europese Unie (AVG), hebben we de mogelijkheid toegevoegd om werkruimteobjecten, zoals volledige notebooks, afzonderlijke notebookcellen, afzonderlijke notitieblokopmerkingen en revisiegeschiedenis van notitieblokken, op te heffen. De komende weken zullen we meer functionaliteit en documentatie vrijgeven ter ondersteuning van AVG-naleving.

Zie Werkruimteopslag leegmaken.

Databricks-CLI 0.7.1

10 mei 2018

Databricks CLI 0.7.1 bevat updates voor geheimenopdrachten om te worden afgestemd op bijgewerkte API-eindpunten.

Zie Verouderde Databricks CLI en geheimbeheer.