Juni 2020

Deze functies en azure Databricks-platformverbeteringen zijn uitgebracht in juni 2020.

Databricks Connect ondersteunt nu Databricks Runtime 6.6

26 juni 2020

Databricks Connect ondersteunt nu Databricks Runtime 6.6.

Algemene beschikbaarheid van Databricks Runtime 7.0 ML

22 juni 2020

Databricks Runtime 7.0 ML is gebouwd op Databricks Runtime 7.0 en bevat de volgende nieuwe functies:

• Python-bibliotheken met notebookbereik en aangepaste omgevingen die worden beheerd door conda- en pip-opdrachten.
• Updates voor belangrijke Python-pakketten, waaronder tensorflow, tensorboard, pytorch, xgboost, sparkdl en hyperopt.
• Nieuw toegevoegde Python-pakketten lightgbm, nltk, petastorm en plotly.
• RStudio Server Open Source v1.2.

Zie de volledige releaseopmerkingen voor Databricks Runtime 7.0 ML (EoS) voor meer informatie.

Algemene beschikbaarheid van Databricks Runtime 7.0, mogelijk gemaakt door Apache Spark 3.0

18 juni 2020

Databricks Runtime 7.0 wordt mogelijk gemaakt door Apache Spark 3.0 en ondersteunt nu Scala 2.12.

Spark 3.0 biedt veel extra functies en verbeteringen, waaronder:

• Adaptieve queryuitvoering, een flexibel framework voor adaptieve uitvoering in Spark SQL en ondersteuning voor het wijzigen van het aantal reducers tijdens runtime.
• Opnieuw ontworpen pandas UDF's met typehints.
• Structured Streaming-web gebruikersinterface.
• Betere compatibiliteit met ANSI SQL-standaarden.
• Neem deel aan hints.

Databricks Runtime 7.0 voegt het volgende toe:

• Verbeterde Auto Loader voor het incrementeel verwerken van nieuwe gegevensbestanden zodra ze binnenkomen in een cloud-blobarchief tijdens ETL.
• Verbeterde COPY INTO opdracht voor het laden van gegevens in Delta Lake met idempotente herhaalde pogingen.
• Veel verbeteringen, toevoegingen en upgrades van bibliotheken en oplossingen voor fouten.

Zie de volledige releaseopmerkingen voor Databricks Runtime 7.0 (EoS) voor meer informatie.

Databricks Runtime 7.0 voor Genomics nu algemeen beschikbaar

18 juni 2020

Databricks Runtime 7.0 voor Genomics is gebaseerd op Databricks Runtime 7.0 en bevat de volgende bibliotheekwijzigingen:

• De ADAM-bibliotheek is bijgewerkt van versie 0.30.0 naar 0.32.0.
• De Hail-bibliotheek is niet opgenomen in Databricks Runtime 7.0 voor Genomics, omdat er geen release is gebaseerd op Apache Spark 3.0.

Faseafhankelijk toegangsbeheer voor MLflow-modellen

16-23 juni 2020: versie 3.22

U kunt nu faseafhankelijke toegangsbeheer toewijzen aan gebruikers of groepen, zodat ze MLflow-modellen kunnen beheren die zijn geregistreerd in het MLflow-modelregister in de fase Fasering of Productie. We hebben twee nieuwe toestemmingsniveaus geïntroduceerd, KAN STAGINGVERSIES BEHEREN en KAN PRODUCTIEVERSIES BEHEREN. Gebruikers met deze machtigingen kunnen overgangen uitvoeren tussen fasen die zijn toegestaan voor het niveau.

Zie MLflow-model-ACL's voor meer informatie.

Notebooks ondersteunen nu het uitschakelen van automatisch schuiven

16-23 juni 2020: versie 3.22

Wanneer u een notebookcel uitvoert met shift+enter, is het standaardgedrag van het notitieblok om automatisch naar de volgende cel te schuiven als de cel niet zichtbaar is. U kunt nu automatisch scrollen uitschakelen in > Gebruikersinstellingen de editorinstellingen>. Als u automatisch scrollen uitschakelt, gaat u met Shift+enter naar de volgende cel, maar het notitieblok scrolt niet naar die cel.

Metastore-IP-adressen worden gewijzigd op 30 juni 2020

11 juni 2020

De standaard-metastore voor Azure Databricks maakt gebruik van Azure Database for MySQL. Alle IP-adressen van Azure Database for MySQL voor Azure Databricks-metastores worden gewijzigd op 30 juni 2020. Als u een Azure Databricks-werkruimte hebt geïmplementeerd in uw eigen virtuele netwerk, bevat uw routetabel voor die implementatie mogelijk een IP-adres van een Azure Databricks-metastore of route naar een firewall of proxyapparaat met een toegangslijst met dat adres. Als dat het geval is, moet u uw Azure Databricks-routetabellen of firewalls bijwerken met nieuwe MySQL-IP's vóór 30 juni 2020 om onderbrekingen te voorkomen.

Ondersteuning voor Internet Explorer 11 eindigt op 15 augustus

9 juni 2020

In overeenstemming met trends in de branche en om een stabiele en consistente gebruikerservaring voor onze klanten te garanderen, beëindigt Azure Databricks de ondersteuning voor Internet Explorer 11 op 15 augustus 2020.

Ondersteuning voor Databricks Runtime 6.2-serie eindigt

3 juni 2020

Ondersteuning voor Databricks Runtime 6.2, Databricks Runtime 6.2 voor Machine Learning en Databricks Runtime 6.2 voor Genomics is beëindigd op 3 juni. Zie de ondersteuningslevenscycli van Databricks.

Het maken van clusters vereenvoudigen en beheren met behulp van clusterbeleid (openbare preview)

2-9 juni 2020: versie 3.21

Clusterbeleidsregels zijn door de beheerder gedefinieerde, herbruikbare clustersjablonen die regels afdwingen op clusterkenmerken en zo ervoor zorgen dat gebruikers clusters maken die aan deze regels voldoen. Als Azure Databricks-beheerder kunt u nu clusterbeleid maken en gebruikersbeleidsmachtigingen verlenen. Hierdoor hebt u meer controle over de gemaakte resources, geeft u gebruikers de flexibiliteit die ze nodig hebben om hun werk te doen en vereenvoudigt u de ervaring met het maken van clusters aanzienlijk.

Zie Rekenbeleid maken en beheren voor meer informatie.

SCIM Me-eindpunt retourneert nu SCIM-compatibel antwoord

2-9 juni 2020: versie 3.21

Het SCIM Me-eindpunt retourneert nu dezelfde informatie als het /users/{id} eindpunt, inclusief informatie zoals groepen en rechten.

Zie CurrentUser-API.

Toegang tot Azure Databricks beperken met behulp van IP-toegangslijsten (openbare preview)

1 juni 2020

Azure Databricks-werkruimten kunnen nu worden geconfigureerd, zodat gebruikers alleen via bestaande bedrijfsnetwerken verbinding maken met de service met een beveiligde perimeter. Azure Databricks-beheerders kunnen de API voor IP-toegangslijsten gebruiken om een set goedgekeurde IP-adressen te definiëren, waaronder acceptatie- en bloklijsten. Alle binnenkomende toegang tot de webtoepassing en REST API's vereist dat de gebruiker verbinding maakt vanaf een geautoriseerd IP-adres, zodat werkruimten niet kunnen worden geopend vanuit een openbaar netwerk, zoals een koffiebar of een luchthaven, tenzij uw gebruikers VPN gebruiken.

Voor deze functie is het Premium-abonnement vereist.

Zie IP-toegangslijsten configureren voor werkruimten voor meer informatie.