Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Cet article décrit les informations relatives à l’environnement système pour l’environnement serverless version 2. Pour garantir la compatibilité de l’application, les charges de travail serverless utilisent une API versionnée, appelée version de l’environnement, qui reste compatible avec les versions de serveur plus récentes.
Vous pouvez sélectionner la version de l’environnement à l’aide du panneau latéral Environment dans vos notebooks serverless. Consultez Sélectionner une version d’environnement.
Nouvelles fonctionnalités et améliorations
Les nouvelles fonctionnalités et améliorations suivantes sont disponibles dans l’environnement serverless 2.
Les tableaux de bord, les alertes et les requêtes sont pris en charge en tant que fichiers d’espace de travail
20 mai 2025
Les tableaux de bord, les alertes et les requêtes sont désormais pris en charge en tant que fichiers d’espace de travail, ce qui signifie que vous pouvez interagir par programmation avec ces objets Databricks comme n’importe quel autre fichier, depuis n’importe où le système de fichiers d’espace de travail est disponible. Découvrez quels sont les fichiers d’espace de travail etinteragir par programmation avec les fichiers d’espace de travail.
Terminal web activé sur le calcul sans serveur
3 avril 2025
Le terminal web est désormais activé sur l’environnement serverless version 2. Pour plus d’informations sur l’utilisation du terminal web, consultez Exécuter des commandes shell dans le terminal web Azure Databricks.
Le type de données VARIANT ne peut plus être utilisé avec des opérations nécessitant des comparaisons
5 février 2025
Vous ne pouvez pas utiliser les clauses ou opérateurs suivants dans les requêtes qui incluent un type de données VARIANT :
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
En outre, vous ne pouvez pas utiliser ces fonctions DataFrame :
df.dropDuplicates()df.repartition()
Ces opérations effectuent des comparaisons et des comparaisons qui utilisent le type de données VARIANT produisent des résultats non définis et ne sont pas prises en charge dans Databricks. Si vous utilisez le type VARIANT dans vos charges de travail ou tables Azure Databricks, Databricks recommande les modifications suivantes :
- Mettez à jour les requêtes ou expressions pour convertir explicitement des valeurs
VARIANTen types de données nonVARIANT. - Si vous avez des champs qui doivent être utilisés avec l’une des opérations ci-dessus, extrayez ces champs du type de données
VARIANTet stockez-les à l’aide de types de données nonVARIANT.
Consultez les données de variante de requête.
Les notebooks sont pris en charge en tant que fichiers d’espace de travail
23 janvier 2025
Les notebooks sont pris en charge en tant que fichiers d’espace de travail dans l’environnement serverless version 2. Vous pouvez écrire, lire et supprimer des blocs-notes comme vous le feriez pour n’importe quel autre fichier. Cela permet une interaction programmatique avec les blocs-notes partout où le système de fichiers de l'espace de travail est accessible. Pour plus d’informations, consultez Créer, mettre à jour et supprimer des fichiers et des répertoires par programmation.
Barre de progression des tâches ajoutée au calcul sans serveur
16 décembre 2024
Une nouvelle barre de progression des tâches a été ajoutée aux cellules de notebook s’exécutant sur la version 2 de l’environnement de calcul sans serveur. Cette barre de progression indique la progression de l’exécution du code Spark de la cellule.
Environnement du système
- système d’exploitation: Ubuntu 22.04.4 LTS
- Python : 3.11.10
- Databricks Connect : 15.4.5
Bibliothèques Python installées
Pour reproduire l’environnement serverless 2 dans votre environnement virtuel Python local, téléchargez le fichier requirements-env-2.txt et exécutez pip install -r requirements-env-2.txt. Cette commande installe toutes les bibliothèques open source à partir de l’environnement serverless 2.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | autocommand | 2.2.2 |
| azure-core | 1.31.0 | azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 |
| backports.tarfile | 1.2.0 | black | 23.3.0 | blinker | 1.4 |
| boto3 | 1.34.39 | botocore | 1.34.39 | cachetools | 5.5.0 |
| certifi | 2023.7.22 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | cloudpickle | 3.0.0 |
| comm | 0.1.2 | contourpy | 1.0.5 | cryptography | 41.0.3 |
| cycler | 0.11.0 | Cython | 0.29.32 | databricks-connect | 15.4.5 |
| databricks-sdk | 0.36.0 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| decorator | 5.1.1 | dill | 0.3.6 | distlib | 0.3.9 |
| entrypoints | 0.4 | executing | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.4 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.35.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.18.2 | google-crc32c | 1.6.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | inflect | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | isodate | 0.7.2 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | packaging | 23.2 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pillow | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.9.0 |
| prompt_toolkit | 3.0.48 | proto-plus | 1.25.0 | protobuf | 5.28.3 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.39 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.2 |
| pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 25.1.2 |
| requests | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.3 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 75.1.0 | six | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.3.2 | traitlets | 5.13.0 | typeguard | 4.3.0 |
| typing_extensions | 4.10.0 | tzdata | 2022.1 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.26.6 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | wheel | 0.38.4 |
| zipp | 3.11.0 | zstandard | 0.23.0 |