Freigeben über

Verwalten von Abhängigkeiten für eine Databricks-App

Jede Databricks-App kann Abhängigkeiten für Python, Node.jsoder beides enthalten. Sie definieren diese Abhängigkeiten in sprachspezifischen Dateien:

  • Verwenden Sie eine requirements.txt Datei, um zusätzliche Python-Pakete anzugeben.
  • Verwenden Sie eine package.json Datei, um Node.js Pakete anzugeben.

Jede App verfügt außerdem über einen vorinstallierten Satz von Python-Bibliotheken. Siehe vorinstallierte Python-Bibliotheken.

Definieren von Python-Abhängigkeiten

Verwenden Sie eine requirements.txt Datei, um zusätzliche Python-Bibliotheken zu definieren. Wenn aufgelistete Pakete mit vorinstallierten Paketen übereinstimmen, setzen die Versionen in Ihrer Datei die Standardwerte außer Kraft.

Beispiel:

# Override default version of dash
dash==2.10.0

# Add additional libraries not pre-installed
requests==2.31.0
numpy==1.24.3

# Specify a compatible version range
scikit-learn>=1.2.0,<1.3.0

Vermeiden von Versionskonflikten

Beachten Sie beim Definieren von Abhängigkeiten Folgendes:

  • Das Überschreiben vorinstallierter Pakete kann Kompatibilitätsprobleme verursachen, wenn sich Die angegebene Version erheblich von der vorinstallierten Version unterscheidet.
  • Testen Sie Ihre App immer, um sicherzustellen, dass Paketversionsänderungen keine Fehler verursachen.
  • Durch das Festlegen expliziter Versionen in requirements.txt wird das konsistente Verhalten der App über verschiedene Bereitstellungen hinweg gewährleistet.

Definieren von Node.js-Abhängigkeiten

Um Node.js Bibliotheken zu definieren, fügen Sie eine package.json Datei in den Stamm ihrer App ein. Während der Bereitstellung erkennt Azure Databricks diese Datei und führt npm install aus, um alle darin aufgeführten Abhängigkeiten zu installieren.

Beispielsweise könnte eine package.json Datei für eine React-App mit Vite wie folgt aussehen:

{
  "name": "react-fastapi-app",
  "version": "1.0.0",
  "private": true,
  "type": "module",
  "scripts": {
    "build": "npm run build:frontend",
    "build:frontend": "vite build frontend"
  },
  "dependencies": {
    "react": "^18.2.0",
    "react-dom": "^18.2.0",
    "typescript": "^5.0.0",
    "vite": "^5.0.0",
    "@vitejs/plugin-react": "^4.2.0",
    "@types/react": "^18.2.0",
    "@types/react-dom": "^18.2.0"
  }
}

Hinweis

Alle Pakete auflisten, die für npm run build unter dependencies, nicht devDependencieserforderlich sind. Wenn Sie in Ihren Umgebungsvariablen festlegen NODE_ENV=production , überspringt der Bereitstellungsprozess die Installation devDependencies.

Installation und Verwaltung von Abhängigkeiten

Bibliotheken, die in requirements.txt und package.json definiert sind, werden direkt auf dem Container installiert, der auf dem dedizierten Compute ausgeführt wird. Sie sind für das Verwalten und Patchen dieser Abhängigkeiten verantwortlich.

Sie können Bibliotheken aus mehreren Quellen in Ihren Abhängigkeitsdateien angeben:

  • Bibliotheken, die aus öffentlichen Repositorys wie PyPI und npm heruntergeladen wurden
  • Private Repositories, die sich mit Anmeldeinformationen authentifizieren, die in Azure Databricks Geheimnissen gespeichert sind
  • In Ihrem /Volumes/ Verzeichnis gespeicherte Bibliotheken (z. B /Volumes/<catalog>/<schema>/<volume>/<path>. )

Installieren aus privaten Repositorys

Um Pakete aus einem privaten Repository zu installieren, konfigurieren Sie Umgebungsvariablen für die Authentifizierung. Legen Sie PIP_INDEX_URL beispielsweise fest, dass sie auf Ihr privates Repository verweist:

env:
  - name: PIP_INDEX_URL
    valueFrom: my-pypi-secret

Ihre Arbeitsbereichsnetzwerkkonfiguration muss den Zugriff auf das private Repository zulassen. Siehe Konfigurieren von Netzwerken für Databricks-Apps.

Installieren von Raddateien aus Unity-Katalogvolumes

So installieren Sie Python-Pakete aus Wheel-Dateien, die in Unity Catalog-Volumes gespeichert sind:

  1. Fügen Sie das Unity-Katalogvolume als Ressource zu Ihrer App hinzu. Siehe Unity-Katalogvolume.
  2. Verweisen Sie direkt auf den vollständigen Raddateipfad in Ihrem requirements.txt:
/Volumes/<catalog>/<schema>/<volume>/my_package-1.0.0-py3-none-any.whl

Hinweis

Umgebungsvariablenverweise werden in requirements.txt. Sie müssen den vollständigen Wheel-Dateipfad hartcodieren.

Um die Sicherheit beim Zugriff auf externe Paketrepositorys zu verbessern, verwenden Sie serverlose Ausgangssteuerelemente, um den Zugriff auf öffentliche Repositorys einzuschränken und private Netzwerke zu konfigurieren. Siehe Konfigurieren von Netzwerken für Databricks-Apps.

  • Last updated on