이 문서에서는 서버리스 환경 버전 2에 대한 시스템 환경 정보를 간략하게 설명합니다. 애플리케이션에 대한 호환성을 보장하기 위해 서버리스 워크로드는 최신 서버 버전과 호환되는 환경 버전이라고 하는 버전이 지정된 API를 사용합니다.
서버리스 Notebook에서 환경 측면 패널을 사용하여 환경 버전을 선택할 수 있습니다. 환경 버전 선택을 참조하세요.
새로운 기능 및 개선 사항
서버리스 환경 2에서는 다음과 같은 새로운 기능과 향상된 기능을 사용할 수 있습니다.
대시보드, 경고 및 쿼리는 작업 영역 파일로 지원됩니다.
2025년 5월 20일
이제 대시보드, 경고 및 쿼리가 작업 영역 파일로 지원됩니다. 즉, 작업 영역 파일 시스템을 사용할 수 있는 모든 위치에서 다른 파일처럼 이러한 Databricks 개체와 프로그래밍 방식으로 상호 작용할 수 있습니다. 작업 영역 파일이란?을 참조하고 프로그래밍 방식으로 작업 영역 파일과 상호 작용합니다.
서버리스 컴퓨팅에서 사용하도록 설정된 웹 터미널
2025년 4월 3일
이제 서버리스 환경 버전 2에서 웹 터미널을 사용할 수 있습니다. 웹 터미널을 사용하는 방법에 대한 자세한 내용은 Azure Databricks 웹 터미널에서 셸 명령 실행을 참조하세요.
VARIANT 데이터 형식은 더 이상 비교가 필요한 작업과 함께 사용할 수 없습니다.
2025년 2월 5일
VARIANT 데이터 형식을 포함하는 쿼리에서는 다음 절 또는 연산자를 사용할 수 없습니다.
DISTINCTINTERSECTEXCEPTUNIONDISTRIBUTE BY
또한 다음 DataFrame 함수를 사용할 수 없습니다.
df.dropDuplicates()df.repartition()
이러한 작업은 비교를 수행하고 VARIANT 데이터 형식을 사용하는 비교는 정의되지 않은 결과를 생성하며 Databricks에서 지원되지 않습니다. Azure Databricks 워크로드 또는 테이블에서 VARIANT 형식을 사용하는 경우 Databricks는 다음과 같은 변경 사항을 권장합니다.
- 쿼리 또는 식을 업데이트하여
VARIANT값을 비VARIANT데이터 형식으로 명시적으로 캐스팅합니다. - 위의 작업과 함께 사용해야 하는 필드가 있는 경우
VARIANT데이터 형식에서 해당 필드를 추출하고 비VARIANT데이터 형식을 사용하여 저장합니다.
쿼리 변형 데이터를 참조하세요.
Notebook은 작업 영역 파일로 지원됩니다.
2025년 1월 23일
Notebook은 서버리스 환경 2에서 작업 영역 파일로 지원됩니다. 다른 파일과 마찬가지로 프로그래밍 방식으로 전자 필기장을 작성, 읽기 및 삭제할 수 있습니다. 이렇게 하면 작업 영역 파일 시스템을 사용할 수 있는 모든 위치에서 Notebook과 프로그래밍 방식으로 상호 작용할 수 있습니다. 자세한 내용은 프로그래밍 방식으로 파일 및 디렉터리 만들기, 업데이트 및 삭제를 참조하세요.
서버리스 컴퓨팅에 추가된 작업 진행률 표시줄
2024년 12월 16일
서버리스 컴퓨팅 환경 버전 2에서 실행되는 Notebook 셀에 새 작업 진행률 표시줄이 추가되었습니다. 이 진행률 표시줄은 셀의 Spark 코드 실행 진행률을 나타냅니다.
시스템 환경
- 운영 체제: Ubuntu 22.04.4 LTS
- Python: 3.11.10
- Databricks Connect: 15.4.5
설치된 Python 라이브러리
로컬 Python 가상 환경에서 서버리스 환경 2를 재현하려면 requirements-env-2.txt 파일을 다운로드하고 실행 pip install -r requirements-env-2.txt합니다. 이 명령은 서버리스 환경 2의 모든 오픈 소스 라이브러리를 설치합니다.
| Library | Version | Library | Version | Library | Version |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | autocommand | 2.2.2 |
| azure-core | 1.31.0 | azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 |
| backports.tarfile | 1.2.0 | black | 23.3.0 | blinker | 1.4 |
| boto3 | 1.34.39 | botocore | 1.34.39 | cachetools | 5.5.0 |
| certifi | 2023.7.22 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.4 | cloudpickle | 3.0.0 |
| comm | 0.1.2 | contourpy | 1.0.5 | cryptography | 41.0.3 |
| cycler | 0.11.0 | Cython | 0.29.32 | databricks-connect | 15.4.5 |
| databricks-sdk | 0.36.0 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| decorator | 5.1.1 | dill | 0.3.6 | distlib | 0.3.9 |
| entrypoints | 0.4 | executing | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.4 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.35.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.18.2 | google-crc32c | 1.6.0 |
| google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | inflect | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | isodate | 0.7.2 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | packaging | 23.2 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pillow | 10.3.0 |
| pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.9.0 |
| prompt_toolkit | 3.0.48 | proto-plus | 1.25.0 | protobuf | 5.28.3 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.65 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.39 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.2 |
| pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 25.1.2 |
| requests | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.3 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 75.1.0 | six | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.3.2 | traitlets | 5.13.0 | typeguard | 4.3.0 |
| typing_extensions | 4.10.0 | tzdata | 2022.1 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.26.6 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | wheel | 0.38.4 |
| zipp | 3.11.0 | zstandard | 0.23.0 |