서버리스 GPU 환경 버전 3(베타)

이 문서에서는 서버리스 GPU 환경 버전 3에 대한 시스템 환경 정보를 간략하게 설명합니다.

애플리케이션에 대한 호환성을 보장하기 위해 서버리스 GPU 워크로드는 최신 서버 버전과 호환되는 상태로 유지되는 환경 버전이라고 하는 버전이 지정된 API를 사용합니다.

서버리스 Notebook에서 환경 측면 패널을 사용하여 환경 버전을 선택할 수 있습니다. 서버리스 GPU 컴퓨팅 설정을 참조하세요.

새로운 기능 및 개선 사항

서버리스 GPU 환경 3은 CPU(서버리스 환경 3)를 기반으로 빌드됩니다. 서버리스 환경 3(CPU)의 새로운 기능 확인

알려진 문제

변환기를 가져올 때 Threadpoolctl 라이브러리 경고

라이브러리를 transformers 가져올 때 다음 오류 메시지가 표시 될 수 있습니다. 서버리스 GPU 환경 3의 라이브러리에 threadpoolctl 대한 알려진 문제입니다.

Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
    self._make_module_from_path(filepath)
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
    module = module_class(filepath, prefix, user_api, internal_api)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
    self.version = self.get_version()
                   ^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
    config = get_config().split()
             ^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'

이 문제를 해결하려면 서버리스 GPU 환경 4 로 업그레이드하거나 라이브러리를 threadpoolctl 업그레이드합니다.

pip install threadpoolctl==3.1.0

시스템 환경

• 운영 체제: Ubuntu 24.04.2 LTS
• Python: 3.12.3
• Databricks Connect: 16.4.2
• NVIDIA CUDA 도구 키트: 12.4

설치된 Python 라이브러리

서버리스 환경 3(CPU)에 포함된 것 외에도 서버리스 GPU 환경 3에는 다음이 포함됩니다.

• torch 2.6.0
• torchvision 0.21.0

로컬 Python 가상 환경에서 서버리스 GPU 환경 3을 재현하려면 requirements-env-gpu-3.txt 파일을 다운로드하고 실행 pip install -r requirements-env-gpu-3.txt합니다. 이 명령은 서버리스 GPU 환경 3에서 모든 오픈 소스 라이브러리를 설치합니다.