이 문서에서는 서버리스 환경 버전 3에 대한 시스템 환경 정보를 간략하게 설명합니다.
애플리케이션에 대한 호환성을 보장하기 위해 서버리스 워크로드는 최신 서버 버전과 호환되는 환경 버전이라고 하는 버전이 지정된 API를 사용합니다.
서버리스 Notebook에서 환경 측면 패널을 사용하여 환경 버전을 선택할 수 있습니다. 환경 버전 선택을 참조하세요.
새로운 기능 및 개선 사항
서버리스 환경 3에서는 다음과 같은 새로운 기능과 향상된 기능을 사용할 수 있습니다.
API 업데이트
2025년 8월 18일
스칼라 Python UDF는 이제 서비스 자격 증명을 지원합니다.
스칼라 Python UDF는 Unity 카탈로그 서비스 자격 증명을 사용하여 외부 클라우드 서비스에 안전하게 액세스할 수 있습니다. 자세한 내용은 Scalar Python UDF의 서비스 자격 증명을 참조하세요.
2025년 6월 13일
서버리스 환경 3에는 다음 API 업데이트가 포함됩니다.
- Python 데이터 원본에 필터 푸시다운 API 지원이 추가되었습니다. Python 데이터 원본에 필터 푸시다운 API 지원 추가를 참조하세요.
- 이제 Python UDF 추적에는 클라이언트 프레임과 함께 드라이버와 실행기 모두의 프레임이 포함됩니다. Python UDF 추적 복구 기능을 참조하세요.
- 새로운
listagg및string_agg함수는 그룹 내에서STRING및BINARY값을 집계합니다. 새로listagg만들기 및string_agg함수를 참조하세요. - 이제
variant_get과get_json_object가 Apache Spark의 경로에서 선행 공백을 처리합니다. Apache Spark에서 경로 선행 공백을 이제 고려하는 variant_get 및 get_json_object를 참조하십시오. - SPARK-51079 Pandas UDF, createDataFrame 및 toPandas에서 Arrow를 사용하여 큰 변수 형식을 지원합니다.
-
SPARK-51186 PySpark 기본 예외에 추가
StreamingPythonRunnerInitializationException합니다. -
SPARK-51112 빈 테이블에는 pyarrow's
to_pandas를 사용하지 마세요. -
SPARK-51506 [PYTHON][ss] 사용자가 에서 close()를 구현하도록 강제하지 마세요.
TransformWithStateInPandas -
SPARK-51425 [연결] 클라이언트 API를 추가하여 사용자 지정 설정
operation_id - SPARK-51206 [PYTHON][연결] Spark Connect에서 화살표 변환 도우미 이동
Databricks Connect가 16.3으로 업그레이드됨
2025년 6월 13일
Databricks Runtime 16.3용 Databricks Connect에서 사용할 수 있는 기능 및 향상된 기능을 사용합니다. Databricks Runtime 16.3에 대한 Databricks Connect를 참조하세요.
향상된 Python 구문 오류 강조 표시
2025년 6월 13일
Python 구문 오류 강조 표시에는 다음과 같은 향상된 기능이 표시됩니다.
- 더 빠른 오류 처리 대기 시간.
- Python 유형 오류 강조 표시를 지원합니다.
- 파일을 통해
pyproject.tomlLinter를 구성할 수 있습니다.
웹 터미널 및 Notebook의 Git CLI 지원
2025년 6월 13일
이제 서버리스 Notebook 및 서버리스 Notebook의 웹 터미널에서 Git CLI를 사용할 수 있습니다.
충돌하는 환경 버전과 관련된 동작 변경
2025년 6월 13일
서버리스 환경 버전이 Notebook의 환경 패널과 사용자 지정 기본 환경 파일 모두에서 선언된 경우 선언된 두 버전이 모두 버전 3에 있지 않는 한 기본 환경의 버전이 우선 적용됩니다. 이 경우 Notebook의 버전이 사용됩니다.
다음은 그 예입니다.
- Notebook에서 v1을 사용하고 기본 환경에서 v3을 사용하는 경우 워크로드는 v3을 사용합니다.
- Notebook에서 v1을 사용하고 기본 환경에서 v2를 사용하는 경우 워크로드는 v1을 사용합니다.
- Notebook에서 v3을 사용하고 기본 환경에서 v1을 사용하는 경우 워크로드는 v1을 사용합니다.
- Notebook에서 v2를 사용하고 기본 환경에서 v1을 사용하는 경우 워크로드는 v2를 사용합니다.
시스템 환경
- 운영 체제: Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.2
설치된 Python 라이브러리
로컬 Python 가상 환경에서 서버리스 환경 3을 재현하려면 requirements-env-3.txt 파일을 다운로드하고 실행 pip install -r requirements-env-3.txt합니다. 이 명령은 서버리스 환경 3에서 모든 오픈 소스 라이브러리를 설치합니다.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.2.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | autocommand | 2.2.2 | azure-core | 1.33.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 |
| black | 24.4.2 | blinker | 1.7.0 | boto3 | 1.34.69 |
| botocore | 1.34.69 | cachetools | 5.3.3 | certifi | 2024.6.2 |
| cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.2.0 | cryptography | 42.0.5 | cycler | 0.11.0 |
| Cython | 3.0.11 | databricks-connect | 16.4.2 | databricks-sdk | 0.49.0 |
| dbus-python | 1.3.2 | debugpy | 1.6.7 | decorator | 5.1.1 |
| Deprecated | 1.2.18 | dill | 0.3.8 | distlib | 0.3.8 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastapi | 0.115.12 |
| filelock | 3.15.4 | fonttools | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth | 2.38.0 |
| google-cloud-core | 2.4.3 | google-cloud-storage | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.69.2 | grpcio | 1.71.0 |
| grpcio-status | 1.71.0 | h11 | 0.14.0 | httplib2 | 0.20.4 |
| idna | 3.7 | importlib-metadata | 7.0.1 | inflect | 7.3.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | ipykernel | 6.29.5 |
| ipython | 8.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.7.2 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.1 |
| jmespath | 1.0.1 | joblib | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core | 5.7.2 | kiwisolver | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | matplotlib | 3.8.4 |
| matplotlib-inline | 0.1.6 | mlflow-skinny | 2.21.3 | more-itertools | 10.3.0 |
| mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 | numpy | 1.26.4 |
| oauthlib | 3.2.2 | opentelemetry-api | 1.31.1 | opentelemetry-sdk | 1.31.1 |
| opentelemetry-semantic-conventions | 0.52b1 | packaging | 24.1 | pandas | 1.5.3 |
| parso | 0.8.3 | pathspec | 0.10.3 | patsy | 0.5.6 |
| pexpect | 4.8.0 | pillow | 10.3.0 | pip | 25.0.1 |
| platformdirs | 3.10.0 | plotly | 5.22.0 | pluggy | 1.5.0 |
| prompt-toolkit | 3.0.43 | proto-plus | 1.26.1 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.68 |
| pycparser | 2.21 | pydantic | 2.8.2 | pydantic_core | 2.20.1 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | pyparsing | 3.0.9 | pytest | 8.3.0 |
| python-dateutil | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 | pytz | 2024.1 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | requests | 2.32.2 |
| rsa | 4.9 | s3transfer | 0.10.4 | scikit-learn | 1.4.2 |
| scipy | 1.13.1 | seaborn | 0.13.2 | setuptools | 75.8.0 |
| six | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| sqlparse | 0.5.3 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| starlette | 0.46.1 | statsmodels | 0.14.2 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.4.1 | traitlets | 5.14.3 | typeguard | 4.3.0 |
| typing_extensions | 4.11.0 | tzdata | 2024.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.45.1 | wrapt | 1.14.1 | zipp | 3.17.0 |
| zstandard | 0.23.0 |