Partilhar via


Ambiente GPU sem servidor versão 3 (beta)

Importante

A computação de GPU sem servidor no Databricks está em Beta. Durante a versão Beta, o conteúdo dos ambientes suportados, incluindo a lista de pacotes ou versões de pacotes instalados, pode mudar.

Este artigo descreve as informações de ambiente do sistema para o ambiente GPU sem servidor versão 3.

Para garantir a compatibilidade do aplicativo, as cargas de trabalho de GPU sem servidor usam uma API versionada, conhecida como versão de ambiente, que permanece compatível com versões mais recentes do servidor.

Pode selecionar a versão do ambiente usando o painel lateral do Ambiente nos seus notebooks sem servidor. Consulte Configurar computação de GPU sem servidor.

Novos recursos e melhorias

O ambiente GPU sem servidor 3 é construído sobre o ambiente sem servidor 3 (CPU). Veja o que há de novo no ambiente sem servidor 3 (CPU).

Problemas conhecidos

Aviso da biblioteca Threadpoolctl ao importar transformadores

Ao importar a transformers biblioteca, você verá a seguinte mensagem de erro. Este é um problema conhecido com threadpoolctl a biblioteca no ambiente GPU sem servidor 3.

Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
    self._make_module_from_path(filepath)
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
    module = module_class(filepath, prefix, user_api, internal_api)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
    self.version = self.get_version()
                   ^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
    config = get_config().split()
             ^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'

Para resolver esse problema, atualize para o ambiente GPU sem servidor 4 ou atualize a threadpoolctl biblioteca:

pip install threadpoolctl==3.1.0

Ambiente do sistema

  • Sistema Operacional: Ubuntu 24.04.2 LTS
  • Píton: 3.12.3
  • Conexão Databricks: 16.4.2
  • Kit de ferramentas NVIDIA CUDA: 12.4

Bibliotecas Python instaladas

Além do que está incluído no ambiente sem servidor 3 (CPU), o ambiente GPU sem servidor 3 inclui o seguinte:

  • torch 2.6.0
  • torchvision 0.21.0

Para reproduzir o ambiente GPU sem servidor 3 em seu ambiente virtual Python local, baixe o arquivo requirements-env-gpu-3.txt e execute pip install -r requirements-env-gpu-3.txt. Este comando instala todas as bibliotecas de código aberto do ambiente GPU sem servidor 3.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
tipos com anotações 0.7.0 anyio 4.2.0 AstTokens 2.0.5
"Astunparse" 1.6.3 azure-core 1.33.0 Azure Storage Blob 12.23.0
Armazenamento de Ficheiros Azure Data Lake 12.17.0 preto 24.4.2 pisca 1.7.0
boto3 1.34.69 Botocore 1.34.69 Ferramentas de cache 5.3.3
certifi 2024.6.2 cffi 1.16.0 Chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.1.7 Cloudpickle 3.0.0
Comunicação 0.2.1 contorno 1.2.0 criptografia 42.0.5
ciclista 0.11.0 Cython 3.0.11 databricks-connect 16.4.4
Databricks-SDK 0.49.0 databricks.serverless_gpu 0.5.3 dbus-python 1.3.2
debugpy 1.6.7 decorador 5.1.1 Deprecated 1.2.18
aneto 0.3.8 Distlib 0.3.8 executar 0.8.3
facetas-visão geral 1.1.1 fastapi 0.115.12 bloqueio de arquivo 3.13.1
Fonttools 4.51.0 fsspec 2024.3.1 Futuro 1.0.0
GitDB 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
Google-Auth (Autenticação) 2.38.0 Google Cloud Core 2.4.3 google-armazenamento-em-nuvem 3.1.0
Google-CRC32C 1.7.1 google-media-reutilizável 2.7.2 googleapis-common-protos 1.69.2
Grpcio 1.71.0 grpcio-status 1.71.0 h11 0.14.0
httplib2 0.20.4 IDNA 3.7 importlib-metadata 7.0.1
iniconfig 1.1.1 ipyflow-core 0.0.206 Ipykernel 6.29.5
IPython 8.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.7.2 Jedi 0.19.1 Jinja2 3.1.4
jmespath 1.0.1 Joblib 1.4.2 jupyter_client 8.6.0
jupyter_core 5.7.2 kiwisolver 1.4.4 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 MarkupSafe 2.1.3
Matplotlib 3.8.4 matplotlib-inline 0.1.6 mlflow-skinny 2.21.3
mpmath 1.3.0 mypy extensions 1.0.0 nest-asyncio 1.6.0
networkx 3.2.1 numpy 1.26.4 nvidia-cublas-cu12 12.4.5.8
nvidia-cuda-cupti-cu12 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127 nvidia-cuda-runtime-cu12 12.4.127
NVIDIA-CUDNN-CU12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3 nvidia-curand-cu12 10.3.5.147
NVIDIA-CUSOLVER-CU12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170 NVIDIA-Cusparselt-CU12 0.6.2
NVIDIA-NCCL-CU12 2.21.5 nvidia-nvjitlink-cu12 12.4.127 NVIDIA-NVTX-CU12 12.4.127
OAuthlib 3.2.2 OpenTelemetry API 1.31.1 OpenTelemetry SDK 1.31.1
Convenções Semânticas de OpenTelemetry 0.52b1 embalagem 24.1 pandas 1.5.3
parambench-train-comms 0.0.0 Parso 0.8.3 PathSpec 0.10.3
vítima 0.5.6 pexpect 4.8.0 almofada 10.3.0
pip (o gestor de pacotes do Python) 25.0.1 platformdirs 3.10.0 enredo 5.22.0
Pluggy 1.5.0 kit de ferramentas de prompt 3.0.43 Proto-Plus 1.26.1
Protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 puro-eval 0.2.2 py4j 0.10.9.9
Pyarrow 15.0.2 pyarrow-hotfix 0.6 pyasn1 0.4.8
pyasn1-módulos 0.2.8 pyccolo 0.0.68 Pycparser 2.21
Pidântico 2.8.2 pydantic_core 2.20.1 Pydot 3.0.4
Pigmentos 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
pyodbc 5.0.1 pyparsing 3.0.9 Pyspark 3.5.2+databricks.connect.16.4.2
Pytest 8.3.0 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.9.0.post0 python-lsp-jsonrpc 1.1.2
Pytz 2024.1 PyYAML 6.0.1 Pyzmq 25.1.2
pedidos 2.32.2 RSA 4,9 s3transfer 0.10.4
scikit-learn (biblioteca de aprendizado de máquina em Python) 1.4.2 SciPy 1.13.1 nascido no mar 0.13.2
Ferramentas de configuração 69.5.1 seis 1.16.0 smmap 5.0.0
sniffio 1.3.0 SQLPARSE 0.5.3 ssh-import-id 5.11
stack-data 0.2.0 Starlette 0.46.1 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.14.2
SymPy 1.13.1 tenacidade 8.2.2 Threadpoolctl 2.2.0
tokenize-rt 4.2.1 tocha 2.6.0+CU124 Torchvision 0.21.0+CU124
tornado 6.4.1 traitlets 5.14.3 Tritão 3.2.0
typing_extensions (extensões de digitação) 4.12.1 tzdata 2024.1 Ujson 5.10.0
Atualizações não supervisionadas 0.1 urllib3 2.2.2 uvicorn 0.34.0
virtualenv 20.29.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.45.1 embrulhado 1.14.1 zipp 3.17.0
zstandard 0.23.0