Udostępnij przez


Bezserwerowe środowisko procesora GPU w wersji 3 (beta)

Ważne

Bezserwerowe obliczenia procesora GPU w usłudze Databricks są w wersji beta. W wersji beta zawartość obsługiwanych środowisk, w tym lista pakietów lub wersji zainstalowanych pakietów, może ulec zmianie.

W tym artykule opisano informacje o środowisku systemowym dla środowiska bezserwerowego procesora GPU w wersji 3.

Aby zapewnić zgodność aplikacji, bezserwerowe obciążenia procesora GPU używają interfejsu API w wersji znanej jako wersja środowiska, która pozostaje zgodna z nowszymi wersjami serwera.

Możesz wybrać wersję środowiska przy użyciu panelu bocznego Environment w notesach bezserwerowych. Zobacz Konfigurowanie bezserwerowych obliczeń procesora GPU.

Nowe funkcje i ulepszenia

Bezserwerowe środowisko procesora GPU 3 jest oparte na środowisku bezserwerowych 3 (cpu). Zobacz, co nowego w środowisku bezserwerowym 3 (PROCESOR).

Znane problemy

Ostrzeżenie biblioteki Threadpoolctl podczas importowania transformatorów

Podczas importowania transformers biblioteki może zostać wyświetlony następujący komunikat o błędzie. Jest to znany problem z biblioteką threadpoolctl w środowisku bezserwerowego procesora GPU 3.

Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
    self._make_module_from_path(filepath)
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
    module = module_class(filepath, prefix, user_api, internal_api)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
    self.version = self.get_version()
                   ^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
    config = get_config().split()
             ^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'

Aby rozwiązać ten problem, uaktualnij środowisko procesora GPU bezserwerowego 4 lub uaktualnij bibliotekę threadpoolctl :

pip install threadpoolctl==3.1.0

Środowisko systemu

  • system operacyjny: Ubuntu 24.04.2 LTS
  • Python: 3.12.3
  • Databricks Connect: 16.4.2
  • ZESTAW NARZĘDZI NVIDIA CUDA: 12.4

Zainstalowane biblioteki języka Python

Oprócz tego, co jest zawarte w środowisku bezserwerowym 3 (procesor), bezserwerowe środowisko procesora GPU 3 obejmuje następujące elementy:

  • torch 2.6.0
  • torchvision 0.21.0

Aby odtworzyć bezserwerowe środowisko procesora GPU 3 w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-env-gpu-3.txt i uruchom polecenie pip install -r requirements-env-gpu-3.txt. To polecenie instaluje wszystkie biblioteki open source ze środowiska bezserwerowego procesora GPU 3.

Biblioteka wersja Biblioteka wersja Biblioteka wersja
typy z adnotacjami 0.7.0 anyio 4.2.0 asttokens 2.0.5
astunparse 1.6.3 azure-core 1.33.0 Azure Storage Blob 12.23.0
Usługa przechowywania w chmurze Azure (azure-storage-file-datalake) 12.17.0 czarny 24.4.2 kierunkowskaz 1.7.0
boto3 1.34.69 botocore 1.34.69 cachetools (narzędzia do zarządzania pamięcią podręczną) 5.3.3
certyfikat 2024.6.2 cffi 1.16.0 chardet 4.0.0
normalizator zestawu znaków 2.0.4 kliknij 8.1.7 cloudpickle (biblioteka Python do serializacji obiektów) 3.0.0
komunikacja 0.2.1 ContourPy 1.2.0 kryptografia 42.0.5
rowerzysta 0.11.0 Cython 3.0.11 databricks-connect 16.4.4
databricks-sdk 0.49.0 databricks.serverless_gpu 0.5.3 dbus-python 1.3.2
debugpy 1.6.7 dekorator 5.1.1 Deprecated 1.2.18
koper 0.3.8 distlib 0.3.8 wykonywanie 0.8.3
aspekty — omówienie 1.1.1 fastapi 0.115.12 blokada plików 3.13.1
fonttools 4.51.0 fsspec 2024.3.1 przyszłość 1.0.0
gitdb (baza danych Git) 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth (autoryzacja Google) 2.38.0 google-cloud-core 2.4.3 Google Cloud Storage (usługa przechowywania danych w chmurze od Google) 3.1.0
google-crc32c (biblioteka do obsługi algorytmu crc32c od Google) 1.7.1 Google Media z Możliwością Wznowienia 2.7.2 googleapis-common-protos 1.69.2
grpcio 1.71.0 grpcio-status 1.71.0 h11 0.14.0
httplib2 0.20.4 IDNA 3.7 importlib-metadata 7.0.1
iniconfig 1.1.1 ipyflow-core 0.0.206 ipykernel 6.29.5
ipython 8.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.7.2 Jedi 0.19.1 Jinja2 3.1.4
jmespath 1.0.1 joblib 1.4.2 jupyter_client 8.6.0
jupyter_core 5.7.2 kiwisolver 1.4.4 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 MarkupSafe 2.1.3
matplotlib 3.8.4 matplotlib-inline 0.1.6 mlflow-skinny 2.21.3
mpmath 1.3.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
networkx 3.2.1 numpy 1.26.4 nvidia-cublas-cu12 12.4.5.8
nvidia-cuda-cupti-cu12 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127 środowisko uruchomieniowe NVIDIA CUDA cu12 12.4.127
nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147
nvidia-cusolver-cu12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170 nvidia-cusparselt-cu12 0.6.2
nvidia-nccl-cu12 2.21.5 nvidia-nvjitlink-cu12 12.4.127 nvidia-nvtx-cu12 12.4.127
oauthlib 3.2.2 opentelemetry-api 1.31.1 opentelemetry-sdk 1.31.1
opentelemetry-semantic-conventions (standardowe konwencje semantyczne w OpenTelemetry) 0.52b1 opakowanie 24.1 Pandas 1.5.3
parambench-train-comms 0.0.0 parso 0.8.3 specyfikacja ścieżki 0.10.3
ofiara 0.5.6 pexpect 4.8.0 poduszka 10.3.0
pip (menedżer pakietów Pythona) 25.0.1 platformdirs 3.10.0 kreślenie 5.22.0
wtyczkowy 1.5.0 zestaw narzędzi prompt 3.0.43 proto-plus 1.26.1
Protobuf (w skrócie od Protocol Buffers) 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py4j 0.10.9.9
pyarrow 15.0.2 pyarrow-hotfix 0.6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.68 pycparser 2.21
pydantic (biblioteka Python do walidacji danych i zarządzania ustawieniami) 2.8.2 pydantic_core 2.20.1 pydot 3.0.4
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
pyodbc 5.0.1 pyparsing – biblioteka do przetwarzania tekstu w Pythonie 3.0.9 pyspark 3.5.2+databricks.connect.16.4.2
pytest 8.3.0 python-dateutil (biblioteka Pythona do zarządzania datami) 2.9.0.post0 python-lsp-jsonrpc 1.1.2
pytz (biblioteka Pythona do obliczeń stref czasowych) 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
żądania 2.32.2 rsa 4.9 s3transfer 0.10.4
scikit-learn 1.4.2 scipy (biblioteka naukowa dla Pythona) 1.13.1 urodzony na morzu 0.13.2
setuptools 69.5.1 sześć 1.16.0 smmap 5.0.0
Sniffio 1.3.0 sqlparse 0.5.3 ssh-import-id (narzędzie do importowania kluczy SSH) 5.11
stos danych 0.2.0 gwiazdka 0.46.1 statsmodels - biblioteka do modelowania statystycznego 0.14.2
sympy 1.13.1 Wytrzymałość 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 pochodnia 2.6.0+cu124 torchvision 0.21.0+cu124
tornado 6.4.1 traitlets 5.14.3 Triton 3.2.0
moduł typing_extensions 4.12.1 tzdata 2024.1 ujson (szybka biblioteka do obsługi formatu JSON) 5.10.0
nienadzorowane uaktualnienia 0.1 urllib3 2.2.2 uvicorn 0.34.0
virtualenv 20.29.2 wadllib 1.3.6 szerokość(wcwidth) 0.2.5
wheel 0.45.1 zawinięty 1.14.1 zamek błyskawiczny 3.17.0
zstandard 0.23.0