Serverlose GPU-Umgebung, Version 3 (Beta)

In diesem Artikel werden die Systemumgebungsinformationen für serverlose GPU-Umgebung, Version 3, beschrieben.

Um die Kompatibilität für die Anwendung sicherzustellen, verwenden Serverlose GPU-Workloads eine versionslose API, die als Umgebungsversion bezeichnet wird, die mit neueren Serverversionen kompatibel bleibt.

Sie können die Umgebungsversion mithilfe des Seitenfensters Umgebung in Ihren serverlosen Notizbüchern auswählen. Siehe Einrichten der serverlosen GPU-Berechnung.

Neue Features und Verbesserungen

Serverlose GPU-Umgebung 3 basiert auf serverloser Umgebung 3 (CPU). Schauen Sie sich die Neuerungen in serverloser Umgebung 3 (CPU) an.

Bekannte Probleme

Threadpoolctl-Bibliothekswarnung beim Importieren von Transformatoren

Beim Importieren der transformers Bibliothek wird möglicherweise die folgende Fehlermeldung angezeigt. Dies ist ein bekanntes Problem mit threadpoolctl der Bibliothek in der Serverless GPU-Umgebung 3.

Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
    self._make_module_from_path(filepath)
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
    module = module_class(filepath, prefix, user_api, internal_api)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
    self.version = self.get_version()
                   ^^^^^^^^^^^^^^^^^^
  File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
    config = get_config().split()
             ^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'

Um dieses Problem zu beheben, aktualisieren Sie auf serverlose GPU-Umgebung 4 oder aktualisieren Sie die threadpoolctl Bibliothek:

pip install threadpoolctl==3.1.0

Systemumgebung

• Betriebssystem: Ubuntu 24.04.2 LTS
• Python: 3.12.3
• Databricks Connect: 16.4.2
• NVIDIA CUDA Toolkit: 12.4

Installierte Python-Bibliotheken

Zusätzlich zu den Komponenten, die in serverloser Umgebung 3 (CPU) enthalten sind, umfasst die serverlose GPU-Umgebung 3 Folgendes:

• torch 2.6.0
• torchvision 0.21.0

Um serverlose GPU-Umgebung 3 in Ihrer lokalen virtuellen Python-Umgebung zu reproduzieren, laden Sie die requirements-env-gpu-3.txt Datei herunter, und führen Sie sie aus pip install -r requirements-env-gpu-3.txt. Mit diesem Befehl werden alle Open Source-Bibliotheken aus serverloser GPU-Umgebung 3 installiert.