Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
En este artículo se describe la información del entorno del sistema para la versión 3 del entorno sin servidor.
Para garantizar la compatibilidad con la aplicación, las cargas de trabajo sin servidor usan una API con versiones, conocida como versión del entorno, que sigue siendo compatible con versiones más recientes del servidor.
Puede seleccionar la versión del entorno utilizando el panel lateral de entorno en sus notebooks sin servidor. Consulte Selección de una versión del entorno.
Nuevas características y mejoras
Las siguientes características y mejoras nuevas están disponibles en el entorno sin servidor 3.
Actualizaciones de API
18 de agosto de 2025
Las UDF de Python escalares ahora admiten credenciales de servicio
Las UDF escalares de Python pueden usar credenciales de servicio del catálogo de Unity para acceder de forma segura a servicios en la nube externos. Para obtener más información, consulte Credenciales de servicio en UDF escalares de Python.
13 de junio de 2025
El entorno sin servidor 3 incluye las siguientes actualizaciones de API:
- Se ha añadido soporte de API de pushdown de filtro a fuentes de datos Python. Consulte Añadir soporte de API de pushdown de filtro a fuentes de datos Python.
- La traza de UDF de Python ahora incluye trazas del controlador y del ejecutor, junto con trazas de cliente. Consulte Mejoras en el rastreo de UDF de Python.
- Nuevas funciones
listaggystring_aggagregan valoresSTRINGyBINARYen un grupo. Consulte nuevas funcioneslistaggystring_agg. -
variant_getyget_json_objectahora consideran los espacios iniciales en rutas de acceso en Apache Spark. Consulte variant_get y get_json_object ahora consideran los espacios iniciales en las rutas de acceso en Apache Spark. - SPARK-51079 Compatibilidad con tipos de variables grandes en UDF de Pandas, createDataFrame y toPandas con Arrow.
-
SPARK-51186 Agregue
StreamingPythonRunnerInitializationExceptiona la excepción base de PySpark. -
SPARK-51112 Evite usar
to_pandasde pyarrow en una tabla vacía. -
SPARK-51506 [PYTHON][ss] No exigir a los usuarios que implementen close() en
TransformWithStateInPandas -
SPARK-51425 [Connect] Adición de la API de cliente para establecer la personalizada
operation_id - SPARK-51206 [PYTHON][connect] Mover funciones auxiliares de conversión de Arrow fuera de Spark Connect
Databricks Connect actualizado a la versión 16.3
13 de junio de 2025
Aproveche las características y mejoras que están disponibles en Databricks Connect para Databricks Runtime 16.3. Consulte Databricks Connect para Databricks Runtime 16.3.
Mejora en el resaltado de errores de sintaxis en Python
13 de junio de 2025
El resaltado de errores de sintaxis de Python verá las siguientes mejoras:
- Mayor latencia en la gestión de errores.
- Soporte para resaltar errores de tipo Python.
- Capacidad de configuración de Linter mediante archivos
pyproject.toml.
Consulte Resaltado de errores de Python.
Compatibilidad con la CLI de Git en el terminal web y el cuaderno
13 de junio de 2025
Ahora puede usar la CLI de Git en un cuaderno sin servidor y el terminal web del cuaderno sin servidor.
Cambio de comportamiento con respecto a las versiones de entorno en conflicto
13 de junio de 2025
En los casos en los que se declara una versión del entorno sin servidor en el panel Entorno del cuaderno y en un archivo de entorno base personalizado, la versión del entorno base tiene prioridad a menos que ambas versiones declaradas estén en la versión 3, en cuyo caso se usa la versión del cuaderno.
Por ejemplo:
- Si el cuaderno usa v1 y el entorno base usa v3, la carga de trabajo usará v3.
- Si el cuaderno usa v1 y el entorno base usa v2, la carga de trabajo usará v1.
- Si el cuaderno usa v3 y el entorno base usa v1, la carga de trabajo usará v1.
- Si el cuaderno usa v2 y el entorno base usa v1, la carga de trabajo usará v2.
Entorno del sistema
- sistema operativo: Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.2
Bibliotecas de Python instaladas
Para reproducir el entorno sin servidor 3 en el entorno virtual local de Python, descargue el archivo requirements-env-3.txt y ejecute pip install -r requirements-env-3.txt. Este comando instala todas las bibliotecas de código abierto desde el entorno sin servidor 3.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | autocommand | 2.2.2 | azure-core | 1.33.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 |
| black | 24.4.2 | blinker | 1.7.0 | boto3 | 1.34.69 |
| botocore | 1.34.69 | cachetools | 5.3.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.2.0 | cryptography | 42.0.5 | cycler | 0.11.0 |
| Cython | 3.0.11 | databricks-connect | 16.4.2 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | decorator | 5.1.1 |
| Deprecated | 1.2.18 | dill | 0.3.8 | distlib | 0.3.8 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastapi | 0.115.12 |
| filelock | 3.15.4 | fonttools | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.38.0 |
| google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 | grpcio | 1.71.0 |
| grpcio-status | 1.71.0 | h11 | 0.14.0 | httplib2 | 0.20.4 |
| idna | 3.7 | importlib-metadata | 7.0.1 | inflect | 7.3.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | ipykernel | 6.29.5 |
| ipython | 8.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.7.2 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.1 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 | numpy | 1.26.4 |
| oauthlib | 3.2.2 | opentelemetry-api | 1.31.1 | opentelemetry-sdk | 1.31.1 |
| opentelemetry-semantic-conventions | 0.52b1 | packaging | 24.1 | pandas | 1.5.3 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | pillow | 10.3.0 | pip | 25.0.1 |
| platformdirs | 3.10.0 | plotly | 5.22.0 | pluggy | 1.5.0 |
| prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.68 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | pyparsing | 3.0.9 | pytest | 8.3.0 |
| python-dateutil | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 | pytz | 2024.1 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | requests | 2.32.2 |
| rsa | 4.9 | s3transfer | 0.10.4 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | setuptools | 75.8.0 |
| six | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sqlparse | 0.5.3 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| starlette | 0.46.1 | statsmodels | 0.14.2 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.4.1 | traitlets | 5.14.3 | typeguard | 4.3.0 |
| typing_extensions | 4.11.0 | tzdata | 2024.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.45.1 | wrapt | 1.14.1 | zipp | 3.17.0 |
| zstandard | 0.23.0 |