Bewährte Methoden für die Data Map-Überprüfung

Microsoft Purview Data Map unterstützt die automatisierte Überprüfung von lokalen, Multicloud- und SaaS-Datenquellen (Software-as-a-Service).

Wenn Sie eine Überprüfung ausführen, beginnt der Prozess mit der Erfassung von Metadaten aus den registrierten Datenquellen. Am Ende des Überprüfungs- und Zusammenstellungsprozesses erhalten Sie kuratierte Metadaten, die technische Metadaten enthalten. Diese Metadaten können Namen von Datenressourcen wie Tabellennamen oder Dateinamen, Dateigröße, Spalten und Datenherkunft enthalten. Für strukturierte Datenquellen werden auch Schemadetails erfasst. Ein Managementsystem für relationale Datenbanken ist ein Beispiel für diese Art von Quelle.

Der Zusammenstellungsprozess wendet automatisierte Klassifizierungsbezeichnungen auf die Schemaattribute basierend auf dem von Ihnen konfigurierten Überprüfungsregelsatz an. Wenn Ihr Microsoft Purview-Konto mit dem Microsoft Purview-Portal verbunden ist, werden Vertraulichkeitsbezeichnungen angewendet.

Warum benötigen Sie bewährte Methoden zum Verwalten von Datenquellen?

Bewährte Methoden helfen Ihnen dabei:

• Optimieren Sie die Kosten.
• Erstellen Sie erstklassige Betriebsabläufe.
• Verbessern der Sicherheitskonformität.
• Leistungseffizienz erzielen.

Registrieren einer Quelle und Herstellen einer Verbindung

Die folgenden Entwurfsüberlegungen und -empfehlungen helfen Ihnen beim Registrieren einer Quelle und beim Herstellen einer Verbindung.

Überlegungen zum Entwurf

• Verwenden Sie Sammlungen, um die Hierarchie zu erstellen, die der Strategie des organization entspricht, z. B. dem geografischen Standort, der Geschäftsfunktion oder der Datenquelle. Die Hierarchie definiert die zu registrierenden und zu überprüfenden Datenquellen.
• Standardmäßig können Sie Datenquellen nicht mehrmals im selben Microsoft Purview-Konto registrieren. Diese Architektur hilft Ihnen, das Risiko zu vermeiden, der gleichen Datenquelle unterschiedliche Zugriffssteuerungen zuzuweisen.

Entwurfsempfehlungen

• Wenn mehrere Teams die Metadaten derselben Datenquelle nutzen, registrieren und verwalten Sie die Datenquelle in einer übergeordneten Sammlung. Erstellen Sie dann entsprechende Scans unter jeder Untersammlung. Auf diese Weise werden relevante Ressourcen unter jeder untergeordneten Sammlung angezeigt. In der Kartenansicht werden Quellen ohne übergeordnete Elemente in einem gepunkteten Feld gruppiert. Keine Pfeile verknüpfen sie mit übergeordneten Elementen.

  

• Verwenden Sie die Option Azure Mehrere, wenn Sie mehrere Quellen, z. B. Azure Abonnements oder Ressourcengruppen, in der Cloud registrieren müssen. Weitere Informationen finden Sie in der folgenden Dokumentation:

  • Überprüfen mehrerer Quellen in Microsoft Purview
  • Überprüfen der Bereitschaft der Datenquelle im großen Stil
  • Konfigurieren des Zugriffs auf Datenquellen für Microsoft Purview MSI im großen Stil

• Nachdem Sie eine Datenquelle registriert haben, können Sie dieselbe Quelle mehrmals überprüfen. Unterschiedliche Teams oder Geschäftseinheiten können dieselbe Quelle auf unterschiedliche Weise verwenden.

Weitere Informationen zum Definieren einer Hierarchie zum Registrieren von Datenquellen finden Sie unter Bewährte Methoden für die Sammlungsarchitektur.

Analyse

Die folgenden Entwurfsüberlegungen und Empfehlungen sind basierend auf den wichtigsten Schritten des Überprüfungsprozesses organisiert.

Überlegungen zum Entwurf

• Nachdem Sie die Datenquelle registriert haben, richten Sie eine Überprüfung ein, um die automatisierte und sichere Überprüfung und Zusammenstellung von Metadaten zu verwalten.
• Das Scan-Setup umfasst die Konfiguration des Namens der Überprüfung, des Überprüfungsbereichs, der Integration Runtime, der Häufigkeit des Scantriggers, des Überprüfungsregelsatzes und der Ressourcengruppe, die für jede Datenquelle pro Scanhäufigkeit eindeutig festgelegt werden.
• Bevor Sie Anmeldeinformationen erstellen, sollten Sie Ihre Datenquellentypen und Netzwerkanforderungen berücksichtigen. Diese Informationen helfen Ihnen bei der Entscheidung, welche Authentifizierungsmethode und Integration Runtime Sie für Ihr Szenario benötigen.

Entwurfsempfehlungen

Nachdem Sie Ihre Quelle in der relevanten Sammlung registriert haben, planen Und befolgen Sie die Reihenfolge, die in diesem Beispiel beim Einrichten der Überprüfung gezeigt wird. Diese Prozessreihenfolge hilft Ihnen, unerwartete Kosten und Nacharbeit zu vermeiden.

1. Identifizieren Sie Ihre Klassifizierungsanforderungen anhand der systeminternen Klassifizierungsregeln. Oder erstellen Sie nach Bedarf bestimmte benutzerdefinierte Klassifizierungsregeln. Basieren Sie auf bestimmten branchen-, geschäftlichen oder regionalen Anforderungen, die nicht sofort verfügbar sind:

   • Weitere Informationen finden Sie in den bewährten Methoden für die Klassifizierung.
   • Erfahren Sie, wie Sie eine benutzerdefinierte Klassifizierungs- und Klassifizierungsregel erstellen.

2. Erstellen Sie Überprüfungsregelsätze , bevor Sie die Überprüfung konfigurieren. Stellen Sie beim Erstellen des Überprüfungsregelsatzes die folgenden Punkte sicher:

   • Überprüfen Sie, ob der Standardregelsatz für die Systemüberprüfung für die Datenquelle, die Sie überprüfen, ausreichend ist. Definieren Sie andernfalls Ihren benutzerdefinierten Überprüfungsregelsatz.

   • Der benutzerdefinierte Überprüfungsregelsatz kann sowohl Systemstandardregeln als auch benutzerdefinierte Regeln enthalten. Deaktivieren Sie daher die Optionen, die für die zu überprüfenden Datenressourcen nicht relevant sind.

   • Erstellen Sie bei Bedarf einen benutzerdefinierten Regelsatz, um unerwünschte Klassifizierungsbezeichnungen auszuschließen. Der Systemregelsatz enthält beispielsweise generische Regierungscodemuster für den Planeten, nicht nur die USA. Ihre Daten entsprechen möglicherweise dem Muster eines anderen Typs, z. B. "Belgische Führerscheinnummer".

   • Beschränken Sie benutzerdefinierte Klassifizierungsregeln auf die wichtigsten und relevanten Bezeichnungen , um Unübersichtlichkeit zu vermeiden. Sie möchten nicht, dass zu viele Bezeichnungen für das Medienobjekt gekennzeichnet sind.

   • Wenn Sie den benutzerdefinierten Klassifizierungs- oder Überprüfungsregelsatz ändern, wird eine vollständige Überprüfung ausgelöst. Konfigurieren Sie den Klassifizierungs- und Überprüfungsregelsatz entsprechend, um Nacharbeiten und kostspielige vollständige Überprüfungen zu vermeiden.

     Hinweis

     Wenn Sie ein Speicherkonto überprüfen, verwendet Microsoft Purview eine Reihe definierter Muster, um zu bestimmen, ob eine Gruppe von Ressourcen einen Ressourcensatz bildet. Sie können Ressourcensatzmusterregeln verwenden, um anzupassen oder außer Kraft zu setzen, wie Microsoft Purview erkennt, welche Ressourcen als Ressourcensätze gruppiert werden. Die Regeln bestimmen auch, wie die Ressourcen innerhalb des Katalogs angezeigt werden. Weitere Informationen finden Sie unter Erstellen von Ressourcensatzmusterregeln. Für dieses Feature gelten Überlegungen zu den Kosten. Weitere Informationen finden Sie auf der Microsoft Purview-Preiswebsite.

3. Richten Sie eine Überprüfung für die registrierten Datenquellen ein. - Scanname: Microsoft Purview verwendet standardmäßig die Namenskonvention SCAN-[A-Z][a-z][a-z][a-z], was nicht hilfreich ist, wenn Sie versuchen, eine von Ihnen ausgeführte Überprüfung zu identifizieren. Verwenden Sie eine sinnvolle Namenskonvention. Für instance können Sie die Überprüfungsumgebung-Quelle-Häufigkeit-Zeit als DEVODS-Daily-0200 benennen. Dieser Name steht für eine tägliche Überprüfung bei 0200 Stunden.

   • Authentifizierung: Microsoft Purview bietet je nach Quelltyp verschiedene Authentifizierungsmethoden zum Überprüfen von Datenquellen. Dies kann Azure Cloud oder lokale oder nicht von Microsoft stammende Quellen sein. Befolgen Sie das Prinzip der geringsten Rechte für die Authentifizierungsmethode in dieser bevorzugten Reihenfolge:

     • Microsoft Purview MSI – Verwaltete Dienstidentität (z. B. für Azure Data Lake Storage Gen2 Quellen)
     • Benutzerseitig zugewiesene verwaltete Identität
     • Dienstprinzipal
     • SQL-Authentifizierung (z. B. für lokale oder Azure SQL Quellen)
     • Kontoschlüssel oder Standardauthentifizierung (z. B. für SAP S/4HANA-Quellen)

     Weitere Informationen finden Sie in der Anleitung zum Verwalten von Anmeldeinformationen.

     Hinweis

     Wenn Sie eine Firewall für das Speicherkonto aktivieren, müssen Sie beim Einrichten einer Überprüfung die Authentifizierungsmethode für verwaltete Identitäten verwenden. Wenn Sie neue Anmeldeinformationen einrichten, darf der Anmeldeinformationsname nur Buchstaben, Zahlen, Unterstriche und Bindestriche enthalten.

   • Integration Runtime

     • Weitere Informationen finden Sie unter Bewährte Methoden für die Netzwerkarchitektur.
     • Wenn die selbstgehostete Integration Runtime (SHIR) gelöscht wird, schlagen alle laufenden Überprüfungen, die darauf basieren, fehl.
     • Wenn Sie SHIR verwenden, stellen Sie sicher, dass der Arbeitsspeicher für die datenquelle ausreichend ist, die Sie überprüfen. Wenn Sie z. B. SHIR zum Überprüfen einer SAP-Quelle verwenden, wird der Fehler "Nicht genügend Arbeitsspeicher" angezeigt:
       • Stellen Sie sicher, dass der SHIR-Computer über genügend Arbeitsspeicher verfügt. Die empfohlene Menge beträgt 128 GB.
       • Legen Sie in der Scaneinstellung den maximal verfügbaren Arbeitsspeicher als geeigneten Wert fest, z. B. 100.
       • Weitere Informationen finden Sie unter Voraussetzungen unter Überprüfen und Verwalten von SAP ECC Microsoft Purview.

   • Bereichsüberprüfung

     • Wenn Sie den Bereich für die Überprüfung einrichten, wählen Sie nur die Ressourcen aus, die auf einer granularen oder übergeordneten Ebene relevant sind. Dadurch wird sichergestellt, dass die Scankosten optimal sind und die Leistung effizient ist. Alle zukünftigen Ressourcen unter einem bestimmten übergeordneten Element werden automatisch ausgewählt, wenn das übergeordnete Element vollständig oder teilweise überprüft wird.
     • Einige Beispiele für einige Datenquellen:
       • Für Azure SQL Datenbank oder Data Lake Storage Gen2 können Sie die Überprüfung auf bestimmte Teile der Datenquelle festlegen. Wählen Sie die entsprechenden Elemente in der Liste aus, z. B. Ordner, Unterordner, Sammlungen oder Schemas.
       • Für Oracle-, Hive-Metastore-Datenbank- und Teradata-Quellen können Sie eine bestimmte Liste von Schemas angeben, die über durch Semikolons getrennte Werte oder Schemanamenmuster exportiert werden sollen.
       • Bei Google Big-Abfragen können Sie eine bestimmte Liste von Datasets angeben, die über durch Semikolons getrennte Werte exportiert werden sollen.
       • Wenn Sie eine Überprüfung für ein gesamtes AWS-Konto erstellen, können Sie bestimmte Buckets auswählen, die überprüft werden sollen. Wenn Sie eine Überprüfung für einen bestimmten AWS S3-Bucket erstellen, können Sie bestimmte Ordner auswählen, die überprüft werden sollen.
       • Für Erwin können Sie Den Scanbereich festlegen, indem Sie eine durch Semikolons getrennte Liste von Erwin-Modelllocatorzeichenfolgen bereitstellen.
       • Für Cassandra können Sie eine bestimmte Liste von Schlüsselräumen angeben, die über durch Semikolons getrennte Werte oder durch Namensmuster für Schlüsselzeichen exportiert werden sollen.
       • Für Looker können Sie Den Scanbereich festlegen, indem Sie eine durch Semikolons getrennte Liste von Looker-Projekten bereitstellen.
       • Für den Power BI-Mandanten können Sie nur angeben, ob ein persönlicher Arbeitsbereich eingeschlossen oder ausgeschlossen werden soll.
     • Verwenden Sie im Allgemeinen Muster ignorieren , wo sie unterstützt werden, basierend auf Wildcards (z. B. für Data Lakes), um temporäre, Konfigurationsdateien, RDBMS-Systemtabellen oder Sicherungs- oder STG-Tabellen auszuschließen.
     • Wenn Sie Dokumente oder unstrukturierte Daten scannen, vermeiden Sie das Scannen einer großen Anzahl solcher Dokumente. Die Überprüfung verarbeitet die ersten 20 MB solcher Dokumente und kann zu einer längeren Überprüfungsdauer führen.

   • Regelsatz überprüfen

     • Wenn Sie den Überprüfungsregelsatz auswählen, stellen Sie sicher, dass Sie das entsprechende System oder den benutzerdefinierten Überprüfungsregelsatz konfigurieren, den Sie zuvor erstellt haben. – Sie können benutzerdefinierte Dateitypen erstellen und die Details entsprechend eingeben. Derzeit unterstützt Microsoft Purview nur ein Zeichen im benutzerdefinierten Trennzeichen. Wenn Sie benutzerdefinierte Trennzeichen wie ~in Ihren tatsächlichen Daten verwenden, müssen Sie einen neuen Überprüfungsregelsatz erstellen.

     

   • Scantyp und Zeitplan

     • Sie können den Überprüfungsprozess so konfigurieren, dass vollständige oder inkrementelle Überprüfungen ausgeführt werden.
     • Führen Sie die Überprüfungen außerhalb des Geschäftsbetriebs oder außerhalb der Spitzenzeiten aus, um eine Überlastung der Quelle zu vermeiden.
     • Die anfängliche Überprüfung ist eine vollständige Überprüfung, und jede nachfolgende Überprüfung ist inkrementell. Sie können nachfolgende Überprüfungen als regelmäßige inkrementelle Überprüfungen planen. Erfahren Sie mehr über die unterstützten Zeitplanoptionen.
     • Die Häufigkeit der Überprüfungen sollte mit dem Änderungsverwaltungszeitplan der Datenquelle oder den Geschäftsanforderungen übereinstimmen. Zum Beispiel:
       • Wenn sich die Quellstruktur möglicherweise wöchentlich ändern kann, sollte die Überprüfungshäufigkeit synchron sein. Änderungen umfassen neue Ressourcen oder Felder innerhalb eines Medienobjekts, die hinzugefügt, geändert oder gelöscht werden.
       • Wenn die Klassifizierungs- oder Vertraulichkeitsbezeichnungen wöchentlich auf dem neuesten Stand sein müssen, z. B. aus regulatorischen Gründen, sollte die Überprüfungshäufigkeit wöchentlich sein. – Wenn Partitionsdateien wöchentlich in einem Quell-Data Lake hinzugefügt werden, können Sie monatliche Überprüfungen planen. Sie müssen keine wöchentlichen Überprüfungen planen, da sich die Metadaten nicht ändern. Bei diesem Vorschlag wird davon ausgegangen, dass es keine neuen Klassifizierungsszenarien gibt.
       • Die maximale Dauer, die die Überprüfung ausführen kann, beträgt sieben Tage, möglicherweise aufgrund von Speicherproblemen. Dieser Zeitraum schließt den Erfassungsprozess aus. Wenn der Fortschritt nach sieben Tagen nicht aktualisiert wird, wird die Überprüfung als fehlgeschlagen markiert. Für den Erfassungsprozess (im Katalog) gibt es derzeit keine solche Einschränkung.

   • Abbrechen von Überprüfungen

     • Derzeit können Sie Scans nur abbrechen oder anhalten, wenn die status der Überprüfung nach dem Auslösen der Überprüfung von "In der Warteschlange" in den Status "In Bearbeitung" übergeht.
     • Das Abbrechen einer einzelnen untergeordneten Überprüfung wird nicht unterstützt.

Hinweise zur Notiz

• Wenn Sie ein Feld, eine Spalte, eine Tabelle oder eine Datei aus dem Quellsystem entfernen, nachdem eine Überprüfung ausgeführt wurde, zeigt Microsoft Purview das Entfernen erst nach der nächsten geplanten vollständigen oder inkrementellen Überprüfung an.
• Sie können ein Medienobjekt aus einem Microsoft Purview-Katalog löschen, indem Sie unter dem Ressourcennamen Löschen auswählen. Durch diese Aktion wird das Objekt in der Quelle nicht entfernt. Wenn Sie eine vollständige Überprüfung für dieselbe Quelle ausführen, wird das Objekt im Katalog erneut erfasst. Wenn Sie eine inkrementelle Überprüfung ausführen, wird das gelöschte Objekt nur dann abgerufen, wenn das Objekt an der Quelle geändert wird. Beispielsweise, wenn der Tabelle eine Spalte hinzugefügt oder daraus entfernt wird.
• Informationen zum Verhalten nachfolgender Überprüfungen nach der manuellen Bearbeitung einer Datenressource oder eines zugrunde liegenden Schemas über das klassische Microsoft Purview-Governanceportal finden Sie unter Details zum klassischen Katalogobjekt.
• Weitere Informationen finden Sie unter Anzeigen, Bearbeiten und Löschen von Ressourcen.

Nächste Schritte

Datenquellen verwalten