Environnement sans serveur version 3

Cet article décrit les informations relatives à l’environnement système pour l’environnement serverless version 3.

Pour garantir la compatibilité de l’application, les charges de travail serverless utilisent une API versionnée, appelée version de l’environnement, qui reste compatible avec les versions de serveur plus récentes.

Vous pouvez sélectionner la version de l’environnement à l’aide du panneau latéral Environment dans vos notebooks serverless. Consultez Sélectionner une version d’environnement.

Nouvelles fonctionnalités et améliorations

Les nouvelles fonctionnalités et améliorations suivantes sont disponibles dans l’environnement serverless 3.

Mises à jour d’API

18 août 2025

Les fonctions définies par l’utilisateur Python scalaire prennent désormais en charge les informations d’identification du service

Les fonctions définies par l’utilisateur Python scalaire peuvent utiliser les informations d’identification du service catalogue Unity pour accéder en toute sécurité aux services cloud externes. Pour plus d’informations, consultez les informations d’identification du service dans les fonctions définies par l’utilisateur Python Scalar.

13 juin 2025

L’environnement serverless 3 inclut les mises à jour d’API suivantes :

• Ajout de la prise en charge de l'API de transfert de filtre aux sources de données Python. Consultez Ajout de la prise en charge de l'API de transfert de filtre aux sources de données Python.
• Le traceback UDF Python inclut désormais des cadres du pilote et de l'exécuteur, ainsi que des cadres clients. Consultez l'amélioration du traceback de la fonction UDF Python.
• Nouvelle fonction listagg et string_agg qui agrège les valeurs STRING et BINARY d'un groupe. Consultez Nouvelles fonctions listagg et string_agg.
• variant_get et get_json_object prennent désormais en compte les espaces initiaux dans les chemins dans Apache Spark. Consultez variant_get et get_json_object prennent désormais en compte les espaces initiaux dans les chemins dans Apache Spark.
• SPARK-51079 Prise en charge de nombreux types de variables dans les fonctions pandas UDF, createDataFrame et toPandas avec Arrow.
• SPARK-51186 Ajouter StreamingPythonRunnerInitializationException à l’exception de base PySpark.
• SPARK-51112 Évitez d’utiliser pyarrow to_pandas sur une table vide.
• SPARK-51506 [PYTHON][ss] Ne pas imposer aux utilisateurs d’implémenter close() dans TransformWithStateInPandas
• SPARK-51425 [Se connecter] Ajouter une API cliente pour définir une api personnalisée operation_id
• SPARK-51206 [PYTHON][connect] Déplacer les aides à la conversion Arrow hors de Spark Connect

Databricks Connect mis à niveau vers la version 16.3

13 juin 2025

Utilisez les fonctionnalités et améliorations disponibles sur Databricks Connect pour Databricks Runtime 16.3. Consultez Databricks Connect pour Databricks Runtime 16.3.

Amélioration de la mise en surbrillance des erreurs de syntaxe Python

13 juin 2025

La mise en surbrillance des erreurs de syntaxe Python verra les améliorations suivantes :

• Latence de gestion des erreurs plus rapide.
• Prise en charge de la mise en surbrillance des erreurs de type Python.
• Configuration du linter via des fichiers pyproject.toml.

Consultez la mise en surbrillance des erreurs Python.

Prise en charge de l’interface CLI Git dans le terminal Web et le notebook

13 juin 2025

Vous pouvez désormais utiliser l’interface CLI Git dans un notebook sans serveur et dans le terminal Web du notebook sans serveur.

Changement comportemental concernant les versions d’environnement conflictuelles

13 juin 2025

Dans les cas où une version d’environnement serverless est déclarée dans le panneau Environnement du notebook et dans un fichier d’environnement de base personnalisé, la version de l’environnement de base est prioritaire, sauf si les deux versions déclarées sont sous la version 3, auquel cas la version du notebook est utilisée.

Par exemple:

• Si le notebook utilise v1 et que l’environnement de base utilise v3, la charge de travail utilise v3.
• Si le notebook utilise v1 et que l’environnement de base utilise v2, la charge de travail utilise v1.
• Si le notebook utilise v3 et que l’environnement de base utilise v1, la charge de travail utilise v1.
• Si le notebook utilise v2 et que l’environnement de base utilise v1, la charge de travail utilise v2.

Environnement du système

• Système d’exploitation : Ubuntu 24.04.2 LTS
• Python : 3.12.3
• Databricks Connect : 16.4.2

Bibliothèques Python installées

Pour reproduire l’environnement serverless 3 dans votre environnement virtuel Python local, téléchargez le fichier requirements-env-3.txt et exécutez pip install -r requirements-env-3.txt. Cette commande installe toutes les bibliothèques open source à partir de l’environnement serverless 3.