Ausführen von Notebooks in Reinräumen

Auf dieser Seite wird die Vorgehensweise für die Ausführung von Notebooks in Reinräumen beschrieben. Notebooks sind die Schnittstelle, über die Mitarbeiter gemeinsam Datenanalysen ausführen.

Die Vorgehensweise zum Hinzufügen eines Notebooks zu einem Reinraum finden Sie unter Erstellen eines Reinraums.

Vorbereitung

Um ein Notizbuch in einem Reinraum zu verwalten und auszuführen, müssen Sie:

Der erstellenden Person wird im Databricks-Konto automatisch die Besitzerrolle des Reinraums zugewiesen. Dem Metastore-Admin des Unternehmens des Mitarbeiters wird automatisch die Eigentümerschaft für den Reinraum in seinem Databricks-Konto zugewiesen. Sie können die Eigentumsrechte übertragen. Weitere Informationen finden Sie unter Verwalten des Unity Catalog-Objektbesitzes.

Notebook hochladen und Ausführende festlegen

Wenn ein Mitarbeiter dem Reinraum ein Notizbuch hinzufügt:

• Sie gelten als Uploader dieses Notebooks im Reinraum.

• Beim Hinzufügen eines Notebooks muss der Uploader, also der Hochladende, festlegen, welcher Mitarbeiter als Ausführender des Notebooks fungieren soll. Der designierte Ausführende darf das Notebook ausführen.

• Es kann nur ein festgelegter Läufer vorhanden sein.

• Sie können sich selbst als Ausführender des Notebooks zuweisen.

  

Siehe Schritt 3: Fügen Sie Datenobjekte und Notizbücher zum Reinraum hinzu

Genehmigen eines Notizbuchs in einem Reinraum

Jedes Notizbuch erfordert eine Genehmigung von allen Mitarbeitern, mit Ausnahme des Uploaders, bevor es ausgeführt wird.

So überprüfen Sie den Überprüfungsstatus eines Notizbuchs:

1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Katalog.

2. Klicken Sie auf die Schaltfläche "Räume >bereinigen".

3. Wählen Sie den Reinraum in der Liste aus.

4. Wählen Sie das Notebook aus, das Sie ausführen möchten.

5. Klicken Sie auf der rechten Seite auf das Symbol " Personen ", um den Abschnitt "Mitarbeiter" der Seite "Notizbuchdetails" zu erweitern.

6. Der Abschnitt "Rezensionen" bietet eine klare Übersicht darüber, welche Mitarbeiter das Notizbuch genehmigt, abgelehnt oder noch nicht überprüft haben.

   

Eine Unterschiedsansicht ist verfügbar, wenn ein Notizbuch gegenüber einer früheren Version geändert wird.

Wenn Sie eine Notizbuchversion ausführen, gilt Folgendes:

• Sie können nur die neueste Version eines Notizbuchs ausführen.
• Sie können nur die neueste Version eines Notizbuchs genehmigen oder ablehnen.
• Das Ändern eines Notebooks durch Hinzufügen neuer Inhalte oder Ändern der Ausführenden-Bezeichnung erstellt eine neue Version, die den Überprüfungsstatus für alle Mitwirkenden zurücksetzt.

So greifen Sie auf die Differenzansicht für ein Notizbuch zu:

1. Klicken Sie auf der rechten Seite auf das Symbol "Uhr" , um den Versionsverlauf der Notizbuchdetailseite zu erweitern.

   

So genehmigen oder ablehnen Sie ein Notizbuch:

1. Klicken Sie oben rechts auf die Schaltfläche " Überprüfen ".

2. Wählen Sie diese Option aus, um das Notizbuch zu genehmigen oder abzulehnen .

   

Sie können Ihre Rezension bis zu neun Mal aktualisieren, für maximal zehn Rezensionen pro Mitarbeiter in jeder Notizbuchversion. Sie können ein Notizbuch jedoch immer ablehnen, auch wenn das Überprüfungslimit erreicht wurde.

Regeln für die automatische Genehmigung

Mitarbeiter können automatische Genehmigungsregeln für ihren Reinraum festlegen. Bei automatischen Genehmigungen gilt Folgendes:

• Sie können Regeln für die automatische Genehmigung nur für Notizbücher erstellen, die von anderen Benutzern hochgeladen wurden, nicht für Ihre eigenen. Selbst erstellte Notebooks müssen nicht von Ihnen genehmigt werden, wenn Sie der Ausführende sind.
• In 2-Personen-Reinräumen können Sie Notizbücher, die von den anderen Mitarbeitern erstellt wurden, automatisch genehmigen.
• In Reinräumen mit mehr als zwei Mitarbeitern können Sie Notizbücher automatisch genehmigen, die von jeder Person oder einem bestimmten Mitarbeiter erstellt wurden.
• Jede Regel für die automatische Genehmigung weist dem genehmigten Notebook einen einzelnen Ausführenden zu.
• Die automatische Genehmigung ist die Standardeinstellung für Notebooks, die von einem anderen Mitarbeiter hochgeladen wurden, wenn Sie der designierte Ausführende sind.
• Automatische Genehmigungen sind optional für Reinräume, in denen der designierte Ausführende ein anderer Mitarbeiter ist.
• Sie können automatische Genehmigungen jederzeit hinzufügen, aktualisieren oder entfernen.

So verwalten Sie automatische Genehmigungen:

1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Katalog.

2. Klicken Sie auf die Schaltfläche "Räume >bereinigen".

3. Klicken Sie auf der Seite "Räume bereinigen " auf das Zahnradsymbol

4. Wählen Sie " Automatische Genehmigungen konfigurieren" aus.

   

5. Konfigurieren Sie die automatische Notizbuchgenehmigung basierend auf übereinstimmenden Berechtigungsregeln.

   

Ausführung eines Notebooks im Reinraum

Um ein Notebook auszuführen, überprüfen Sie, ob alle erforderlichen Genehmigungen vorliegen und Sie als Ausführender festgelegt sind. Führen Sie dann folgende Schritte aus:

1. Klicken Sie unter Notebooks auf das Notebook, um es im Vorschaumodus zu öffnen.
2. Klicken Sie auf die Schaltfläche Ausführen.
   • Sie können nur Notebooks ausführen, für die Sie als Ausführender festgelegt sind und die genehmigt wurden.
   • Es ist nicht erforderlich, Notizbücher, die Sie selbst erstellt haben, manuell zu genehmigen, um sie auszuführen.
   • Sie können ein erstelltes Notizbuch ablehnen. Sie müssen sie erneut genehmigen, bevor sie ausgeführt werden kann.
   • Sie können automatische Genehmigungen für jedes Notizbuch verwalten. Siehe Regeln zur automatischen Genehmigung.
3. (Optional) Klicken Sie im Dialogfeld Ausführen des Notebooks mit Parametern auf + Hinzufügen, um Parameterwerte an die Notebook-Einzelvorgang-Aufgabe zu übergeben.
4. Überprüfen Sie das Notizbuch.
5. Klicken Sie auf Ausführen.
6. Klicken Sie auf Details anzeigen, um den Fortschritt der Ausführung anzuzeigen. Alternativ können Sie den Ausführungsfortschritt betrachten, indem Sie auf dieser Seite zu Ausführungen wechseln oder auf Aufträge & Pipelines in der Arbeitsbereich-Seitenleiste klicken und zur Registerkarte Auftragsausführungen wechseln.
7. Anzeigen der Ergebnisse der Notebook-Ausführung. Die Ergebnisse des Notebooks werden nach Abschluss der Ausführung angezeigt. Um frühere Ausführungen anzuzeigen, gehen Sie zu Ausführungen und klicken Sie auf den Link in der Spalte Startzeit.

Selbst wenn alle Mitarbeiter ein Notizbuch genehmigen, kann nur der vom Uploader als ausführender Mitarbeiter festgelegte Mitarbeiter es ausführen.

Notebook-Parameter

Die folgenden Parameter werden automatisch zur Laufzeit an das Clean Room-Notizbuch übergeben:

• cr_central_id: Die zentrale Reinraum-ID.
• cr_runner_global_metastore_id: Die globale Metastore-ID des angegebenen Ausführenden.
• cr_runner_alias: Der Collaborator-Alias des designierten Läufers.
• cr_<alias>_input_catalog: Der Katalog, der Daten speichert, die von einem bestimmten Zusammenarbeitspartner freigegeben werden, wobei alias als deren Clean Room-Alias dargestellt wird. Bei in der Benutzeroberfläche erstellten Reinräumen für zwei Parteien gilt dies standardmäßig für den Ersteller oder die Mitwirkenden, kann aber über die API angepasst werden. Sie können den Parameter cr_<alias>_input_catalog für lokale Tests mit Beispieltabellen verwenden.
• cr_output_catalog: Definiert den Katalog, in dem Sie neue Ausgabetabellen erstellen. Verwendet in Kombination mit cr_output_schema. Siehe Erstellen einer Ausgabetabelle.
• cr_output_schema: Definiert das Schema, in dem Sie Ausgabetabellen erstellen. Verwendet in Kombination mit cr_output_catalog. Siehe Erstellen einer Ausgabetabelle.

Die obigen Notizbuchparameter sind während der Ausführung automatisch als Widgetwerte verfügbar.

• Python-Zellen: Sie referenzieren mit dbutils.widgets.get. Beispiel: dbutils.widgets.get("cr_central_id").

• SQL-Zellen: Zugreifen auf sie mit select :name. Beispiel: select :cr_central_id.

Geben Sie die Ausgabe des Notebooks über Ausgabetabellen frei

Ausgabetabellen sind temporäre, schreibgeschützte Tabellen, die von einer Notebook-Ausführung erzeugt und für den Metaspeicher des Notebook-Runners freigegeben werden. Wenn das Notebook eine Ausgabetabelle erstellt, kann der Ausführende des Notebooks in einem Ausgabekatalog darauf zugreifen und sie für andere Benutzer in seinem Arbeitsbereich freigeben. Siehe Erstellen und Arbeiten mit Ausgabetabellen in Databricks Klar.

Verwenden Sie Lakeflow Einzelvorgänge zur Ausführung von Reinraum-Notebooks

Mithilfe von Azure Databricks-Workflows können Sie komplexe, wiederkehrende Workflows für Ihre Reinraumressourcen erstellen. Sie können beispielsweise einen wiederkehrenden Workflow erstellen, der eine Reinraum-Notebookaufgabe ausführt und dann eine Aufgabe ausführt, die einen Bericht auf der Grundlage der Reinraumausgabe sofort aktualisiert.

Die folgenden Features erleichtern komplexe Workflows für Reinräume:

• Aufgabentyp des Clean Room-Notizbuchs: Wählen Sie direkt ein Clean Room-Notizbuch aus, um es als dedizierte Aufgabe im Workflow auszuführen. Weitere Informationen finden Sie unter Ausführen von Notebooks in Reinräumen.
• Von Azure Databricks bereitgestellte Ausgabewerte: Alle Aufgaben in Reinraumnotizbüchern machen die Verweise auf dynamische Werte {{tasks.<your_task_name>.output.catalog_name}} und {{tasks.<your_task_name>.output.schema_name}} für alle nachgelagerten Aufgaben verfügbar. Diese Werte können zum Aktivieren von Workflows verwendet werden, bei denen eine Aufgabe automatisch den Pfad zum Ausgabeschema einer vorgelagerten Reinraum-Notebook-Aufgabe weitergibt. Siehe Unterstützte Werteverweise
  • output.catalog_name wird automatisch mit dem Namen des Ausgabekatalogs des Reinraums ausgefüllt.
  • output.schema_name wird automatisch mit dem Namen des dynamisch generierten Ausgabeschemas der Reinraum-Notebookaufgabe gefüllt.
• Lakeflow-Einzelvorgänge: verwenden Werte der Aufgabe that pass job parameter Werte bis clean room notebooks oder capture clean room Notebook output und pass that output bis other workflow Aufgaben. Weitere Informationen zur Übermittlung zwischen Aufgaben finden Sie unter Aufgabenwerte.
• Aufgabenwerte: Wie normale Notizbuchaufgaben können Reinraum-Notizbuchaufgaben Aufgabenwerte festlegen, die an nachgeschaltete Workflowaufgaben übergeben werden. Verwenden Sie die Syntax: dbutils.jobs.taskValues.set(key="key", value="value"). Siehe mehr über Werte der Aufgabe.