Freigeben über


Verwenden von Tags zum Attributieren und Nachverfolgen der Verwendung

In diesem Artikel wird erläutert, wie Sie mithilfe von Tags die Computenutzung bestimmten Arbeitsbereichen, Teams, Projekten oder Benutzern zur Unterstützung der Kostennachverfolgung und -budgetierung zuordnen.

Es gibt zwei Arten von Tags:

  • Standardtags: Automatisch von Databricks auf in der Cloud bereitgestellte Ressourcen angewendet. Diese stellen grundlegende Metadaten wie Anbieter, Cluster-ID und Ersteller bereit.
  • Benutzerdefinierte Tags: Benutzerdefinierte Tags, die Sie zur Berechnung von Ressourcen und serverlosen Workloads hinzufügen können. Diese ermöglichen eine präzise Nachverfolgung, Berichterstellung und Budgetierung.

Warnung

Tagdaten werden als Nur-Text gespeichert und können global repliziert werden. Verwenden Sie keine Tagnamen, Werte oder Deskriptoren, die die Sicherheit Ihrer Ressourcen gefährden könnten. Verwenden Sie beispielsweise keine Tagnamen, Werte oder Deskriptoren, die persönliche oder vertrauliche Informationen enthalten.

Standardtags

Azure Databricks fügt automatisch Standardtags hinzu, um Ressourcen zu berechnen, die es in Ihrem Cloudkonto bereitstellt. Diese Tags weisen die Verwendung auf Databricks zurück und stellen grundlegende Informationen zur Ressource bereit, z. B. name, ID und Creator.

Die Standardtags werden automatisch an detaillierte Kostenanalyseberichte weitergegeben, auf die Sie im Azure-Portal zugreifen können.

Hier sehen Sie einen Bericht mit den Rechnungsdetails der Kostenanalyse im Azure-Portal, in dem die Kosten nach clusterid-Tag für einen Zeitraum von einem Monat angegeben werden:

Kostenanalyse nach Cluster-ID

Standard RFID-Transponder-Schlüssel und Werte

Azure Databricks fügt die folgenden Standardtags zur Berechnung von Ressourcen hinzu:

Tagschlüssel value
Vendor Konstanter Wert: Databricks
ClusterId Interne Azure Databricks-ID des Clusters
ClusterName Name des Clusters
Creator Benutzername (E-Mail-Adresse) des Benutzers, der den Cluster erstellt hat
RunName Einzelvorgangsname (nur auf berechneten Einzelvorgängen verteilen). Wenn Sie die Jobs-API 2.0 verwenden, entspricht dies run_name. In der Jobs-API 2.1 ist dies der task_key.
JobId Einzelvorgangskennung (wird nur bei berechneten Einzelvorgängen verteilt)

Die von der Datenprofilerstellung verwendete Berechnung umfasst die folgenden zusätzlichen Tags:

Tagschlüssel value
LakehouseMonitoring Wahr
LakehouseMonitoringTableId ID der überwachten Tabelle
LakehouseMonitoringWorkspaceId ID des Arbeitsbereichs, in dem der Monitor erstellt wurde
LakehouseMonitoringMetastoreId ID des Metastores, in dem die überwachte Tabelle vorhanden ist

Azure Databricks fügt den Pools und den von Pools erstellten Computeressourcen die folgenden Standardtags hinzu.

Tagschlüssel value
Vendor Konstanter Wert: Databricks
DatabricksInstancePoolCreatorId Interne Azure Databricks-ID des Benutzers, der den Pool erstellt hat
DatabricksInstancePoolId Interne Azure Databricks-ID des Pools

Benutzerdefinierte Tags

Mit benutzerdefinierten Tags können Sie die Berechnungsnutzung bestimmten Teams, Projekten oder Kostenstellen mit mehr Granularität als Standardtags zuordnen. Diese Tags werden von Benutzern oder Administratoren angewendet und sowohl in die Nutzungsprotokolle Ihres Kontos als auch auf die entsprechenden Cloudressourcen weitergegeben. Diese Tags werden auch verwendet, um Budgets in Ihrem Azure Databricks-Konto zu erstellen und zu überwachen.

Unterstützte Ressourcen für benutzerdefinierte Tags

Objekt Taggingschnittstelle (UI) Taggingschnittstelle (API)
Arbeitsbereich Azure-Portal Azure-Ressourcen-API
Tümpel Pool-Benutzeroberfläche im Azure Databricks-Arbeitsbereich Instanzpool-API
All-Purpose Compute und Job Compute Compute-Benutzeroberfläche im Azure Databricks-Arbeitsbereich Cluster-API
SQL-Warehouse SQL-Warehouse-Benutzeroberfläche im Azure Databricks-Arbeitsbereich Lagerlager-API
Datenbankinstanz Benutzeroberfläche der Datenbankinstanz im Azure Databricks-Arbeitsbereich Datenbankinstanzen-API

Benutzerdefinierte Tags werden in GCE-Protokollen in Kleinbuchstaben angezeigt. Zeichen werden entfernt, wenn sie keine Buchstaben, Zahlen, Unterstriche oder Gedankenstriche sind. Zum Beispiel My Key wird mykey und My.Val wird .myval

Warnung

Weisen Sie einem Cluster kein benutzerdefiniertes Tag mit dem Schlüssel Name zu. Jeder Cluster verfügt über ein Tag Name, dessen Wert von Azure Databricks festgelegt wird. Wenn Sie den Wert für den Schlüssel Name ändern, kann der Cluster nicht mehr von Azure Databricks nachverfolgt werden. Dies hat zur Folge, dass der Cluster im Leerlauf möglicherweise nicht beendet wird, sodass weiterhin Nutzungskosten anfallen.

Markieren von serverlosen Computeworkloads

Wichtig

Dieses Feature befindet sich in Public Preview. Sie können die Vorschauregistrierung auf der Vorschauseite bestätigen. Siehe Verwalten von Azure Databricks-Vorschauen.

Um die Nutzung von serverlosen Rechenressourcen für Benutzer, Gruppen oder Projekte zuzuordnen, können Sie Serverless-Budgetrichtlinien verwenden. Wenn einem Benutzer eine serverlose Budgetrichtlinie zugewiesen wird, wird die serverlose Verwendung automatisch mit den benutzerdefinierten Tags der Richtlinie markiert. Serverlose Budgetrichtlinien können auf serverlose Notizbücher, Aufträge, Pipelines und Modellbereitstellungsendpunkte angewendet werden.

Hinweis

Der serverlose Berechnungsverbrauch wird in der fakturierbaren Verbrauchs-Systemtabelle Ihres Kontos protokolliert. Die Vorgänger-DBU-Verbrauchsberichte enthalten keine serverlosen Verbrauchs- oder serverlosen Budgetrichtlinienkategorien.

Siehe Attributverwendung mit serverlosen Budgetrichtlinien.

Tagweitergabe

Arbeitsbereichs-, Pool- und Clustertags werden von Azure Databricks aggregiert und für Berichte zur Kostenanalyse an Azure-VMs weitergegeben. Pool- und Clustertags werden jedoch unterschiedlich voneinander weitergegeben.

Arbeitsbereichs- und Pooltags werden aggregiert und als Ressourcentags der Azure-VMs zugewiesen, die die Pools hosten.

Arbeitsbereichs- und Clustertags werden aggregiert und als Ressourcentags der Azure-VMs zugewiesen, die die Cluster hosten.

Wenn Cluster aus Pools erstellt werden, werden nur Arbeitsbereichstags und Pooltags an die VMs weitergegeben. Clustertags werden nicht weitergegeben, um die Startleistung des Poolclusters beizubehalten.

Tagkonfliktlösung

Wenn ein benutzerdefiniertes Tag (Arbeitsbereich, Cluster oder Pooltag) denselben Schlüsselnamen wie ein Azure Databricks-Standardtag aufweist, wird dem benutzerdefinierten Tag während der Verteilung automatisch das Präfix vorangestellt x_ . Das Standardmäßige Azure Databricks-Tag behält seinen ursprünglichen Schlüsselnamen bei.

Beispielsweise wendet Azure Databricks ein Standardclustertag vendor = Databricks auf alle Cluster an. Wenn Sie ein benutzerdefiniertes Arbeitsbereichstag vendor = Azure Databricks hinzufügen, konfliktiert dies mit dem Standard-Tag vendor. Wenn sie an Azure weitergegeben wird, wird das benutzerdefinierte Arbeitsbereichstag zu x_vendor = Azure Databricks, während das Azure Databricks-Standardtag unverändert bleibt vendor = Databricks.

Warnung

Konfliktierende benutzerdefinierte RFID-Transponder, die durch Berechnungsrichtlinien hinzugefügt wurden, lösen sich nicht auf, was dazu führt, dass der Cluster oder Pool mit einem ungültigen Einstellung Fehler fehlschlägt. Stellen Sie sicher, dass Ihre Computerrichtlinien keine widersprüchlichen Tagnamen hinzufügen.

:::

Tagerzwingung

Um die Verwendung bestimmter benutzerdefinierter Tags zu erzwingen, können Sie Berechnungsvorgaben verwenden. Siehe Durchsetzung benutzerdefinierter RFID-Transponder. Um benutzerdefinierte RFID-Transponder auf serverlosen berechnen Arbeitsauslastungen zu erzwingen, verwenden Sie serverlose Budgetrichtlinien.

Einschränkungen

  • Es kann bis zu einer Stunde dauern, bis benutzerdefinierte Arbeitsbereichstags nach jeder Änderung an Azure Databricks weitergeleitet werden.
  • Einer Azure-Ressource können nicht mehr als 50 Tags zugewiesen werden. Wenn die Gesamtanzahl aggregierter Tags diesen Grenzwert überschreitet, werden Tags mit dem Präfix x_ in alphabetischer Reihenfolge ausgewertet, und Tags, die den Grenzwert überschreiten, werden ignoriert. Wenn alle Tags mit dem Präfix x_ ignoriert werden und die Anzahl über dem Limit des Grenzwerts liegt, werden die verbleibenden Tags in alphabetischer Reihenfolge ausgewertet, und Tags, die den Grenzwert überschreiten, werden ignoriert.
  • RFID-Transponder-Schlüssel und Werte dürfen nur Schreiben, Leerzeichen, Zahlen oder die Zeichen +, -, =, ., _, :, /, @ enthalten. Kategorien, die andere Zeichen enthalten, sind ungültig.
  • Wenn Sie Tagschlüsselnamen oder -werte ändern, werden diese Änderungen erst nach dem Neustart des Clusters oder der Poolerweiterung wirksam.
  • Wenn die benutzerdefinierten Tags des Clusters mit den benutzerdefinierten Tags eines Pools in Konflikt stehen, kann der Cluster nicht erstellt werden.
  • Neu hinzugefügte, geänderte oder gelöschte Arbeitsbereichstags werden nicht automatisch an vorhandene Computeressourcen weitergegeben. Um neue Tags zu propagieren, öffnen Sie die Detailseite der Rechnerressource, klicken Sie auf Bearbeiten und dann auf Bestätigen und neu starten.