Freigeben über

Auswählen einer Datenübertragungstechnologie

In diesem Artikel werden verschiedene Optionen beschrieben, die Sie je nach Ihren Anforderungen verwenden können, um Daten an und von Azure zu übertragen.

Physische Übertragung

Die Verwendung physischer Hardware zum Übertragen von Daten an Azure ist eine gute Option, wenn die folgenden Faktoren zutreffen:

  • Ihr Netzwerk ist langsam oder unzuverlässig.
  • Mehr Netzwerkbandbreite ist zu teuer.
  • Sicherheits- oder Organisationsrichtlinien lassen bei der Verarbeitung vertraulicher Daten keine ausgehenden Verbindungen zu.

Wenn Ihr Hauptanliegen darin besteht, wie lange es dauert, Ihre Daten zu übertragen, sollten Sie prüfen, ob die Netzwerkübertragung langsamer als der physische Transport ist.

Der Azure-Import-/Exportdienst und azure Data Box sind die beiden Hauptoptionen für den physischen Transport von Daten nach Azure.

Der Azure Import/Export-Dienst

Mit dem Azure Import/Export-Dienst können Sie große Datenmengen sicher an Azure Blob Storage oder Azure Files übertragen, indem Sie interne SERIAL Advanced Technology Attachment (SATA)-Festplattenlaufwerke (HDDs) oder Festkörperlaufwerke (SDDs) an ein Azure-Rechenzentrum senden. Sie können diesen Dienst auch verwenden, um Daten aus Azure Storage in HDDs zu übertragen und die Laufwerke für das Laden lokal an Sie ausgeliefert zu lassen.

Datenbox

Data Box ist eine Microsoft-Appliance, die ähnlich wie der Azure Import/Export-Dienst funktioniert. Mit Data Box liefert Microsoft Ihnen eine proprietäre, sichere und manipulationssichere Übertragungsanwendung und verarbeitet die End-to-End-Logistik, die Sie über das Azure-Portal verfolgen können. Ein Vorteil von Data Box ist die hohe Benutzerfreundlichkeit. Sie müssen nicht mehrere Festplatten kaufen, vorbereiten und die Dateien auf die einzelnen Festplatten übertragen. Viele Azure-Partner unterstützen Data Box, was die Verwendung des Offlinetransports in die Cloud in ihren Lösungen erleichtert.

Befehlszeilentools und APIs

Berücksichtigen Sie die folgenden Optionen, wenn Sie skriptgesteuerte und programmgesteuerte Datenübertragung benötigen:

  • Die Azure CLI ist ein plattformübergreifendes Tool, mit dem Sie Azure-Dienste verwalten und Daten in den Speicher hochladen können.

  • AzCopy ist ein Befehlszeilenprogramm, mit dem Sie Daten in blob Storage, Azure Files Storage und Azure Table Storage mit optimaler Leistung kopieren können. AzCopy unterstützt die gleichzeitige Ausführung und Parallelverarbeitung sowie die Möglichkeit, unterbrochene Kopiervorgänge fortzusetzen. Sie können AzCopy auch verwenden, um Daten aus Amazon Web Services (AWS) nach Azure zu kopieren. Für den programmgesteuerten Zugriff ist die Microsoft Azure Storage Data Movement-Bibliothek das Kernframework, das AzCopy unterstützt. Diese wird als .NET Core-Bibliothek bereitgestellt.

  • Azure PowerShell ist eine Skriptumgebung, in der das Start-AzureStorageBlobCopy Cmdlet eine Option für Operatoren bietet, die mit Azure PowerShell vertraut sind.

  • DistCp ist ein Hilfsprogramm zum Kopieren von Daten zwischen dem Standardspeicher eines Azure HDInsight-Clusters und anderen Blob Storage- oder Azure Data Lake Storage-Konten.

  • Apache Sqoop ist ein Apache-Projekt und Teil des Hadoop-Ökosystems. Es ist auf allen HDInsight-Clustern vorinstalliert. Sqoop überträgt Daten zwischen einem HDInsight-Cluster und relationalen Datenbanken wie SQL, Oracle und MySQL. Es ist eine Sammlung verwandter Tools, einschließlich Import- und Exporttools, und arbeitet mit HDInsight-Clustern mithilfe von Blob Storage oder Data Lake Storage attached Storage.

  • PolyBase ist eine Technologie, die über die T-SQL-Sprache auf Daten außerhalb einer Datenbank zugreift. Sie können Abfragen für externe Daten in Hadoop ausführen oder Daten aus Blob Storage importieren und exportieren.

  • Die Hadoop-Befehlszeile ist ein Tool, das Sie verwenden können, wenn sich Ihre Daten auf einem HDInsight-Clusterkopfknoten befinden. Sie können den hadoop fs -copyFromLocal Befehl verwenden, um diese Daten in den angefügten Speicher Ihres Clusters zu kopieren, z. B. Blob Storage oder Data Lake Storage. Um den Hadoop-Befehl zu verwenden, müssen Sie zuerst eine Verbindung mit dem Kopfknoten herstellen. Nachdem die Verbindung hergestellt wurde, können Sie eine Datei in den Speicher hochladen.

Grafische Benutzeroberfläche

Berücksichtigen Sie die folgenden Optionen, wenn Sie nur einige Dateien oder Datenobjekte übertragen müssen und den Prozess nicht automatisieren müssen.

  • Azure Storage Explorer ist ein plattformübergreifendes Tool, mit dem Sie den Inhalt Ihrer Speicherkonten verwalten können. Damit können Sie Blobs, Dateien, Warteschlangen, Tabellen und Azure Cosmos DB-Entitäten hochladen, herunterladen und verwalten. Verwenden Sie den Speicher-Explorer mit Blob Storage, um Blobs und Ordner zu verwalten und Blob-Blobs zwischen Ihrem lokalen Dateisystem und Blob Storage oder zwischen Speicherkonten hoch- und herunterzuladen.

  • Das Azure-Portal ist eine webbasierte Anwendung, die eine einheitliche Schnittstelle zum Erstellen, Verwalten und Überwachen von Azure-Ressourcen bereitstellt. Blob Storage und Data Lake Storage bieten beide eine webbasierte Schnittstelle zum Untersuchen und Hochladen von Dateien. Diese Option eignet sich, wenn Sie keine Tools installieren oder Befehle ausführen möchten, um Ihre Dateien schnell zu durchsuchen, oder wenn Sie nur einige Dateien hochladen müssen.

  • Microsoft Fabric-Datenflüsse sind cloudbasierte Funktionen, mit denen Sie Daten vorbereiten und transformieren können, ohne Code zu schreiben. Sie bieten eine Low-Code-Schnittstelle zum Aufnehmen von Daten aus Hunderten von Quellen und transformieren Ihre Daten mithilfe integrierter Datentransformatoren und Laden der resultierenden Daten in unterstützte Ziele.

Datensynchronisierung und Pipelines

  • Azure Data Factory ist ein verwalteter Dienst, der für die regelmäßige Übertragung von Dateien über Azure-Dienste, lokale Systeme oder eine Kombination aus beiden entwickelt wurde. Mithilfe von Data Factory können Sie datengesteuerte Workflows erstellen und planen, die als Pipelines bezeichnet werden, die Daten aus unterschiedlichen Datenspeichern aufnehmen. Data Factory kann die Daten mithilfe von Computediensten wie Apache Spark und Azure Machine Learning verarbeiten und transformieren. Sie können datengesteuerte Workflows zur Orchestrierung und Automatisierung der Verschiebung und Transformation von Daten erstellen.

  • Fabric Data Factory ist eine Datenintegrationsplattform, mit der Sie Datenbewegungen und Transformationen in Cloud- und Hybridumgebungen koordinieren und automatisieren können. Sie können datengesteuerte Workflows (Pipelines) erstellen und planen, die Daten aus verschiedenen Quellen aufnehmen, einschließlich Cloudspeicher, Datenbanken und lokalen Systemen. Diese Pipelines unterstützen verschiedene Aktivitäten wie Datenbewegungen, Transformation und Steuerungsfluss und können Computemodule wie Spark und SQL in Fabric-Workloads verwenden. Mit der Integration in OneLake stellt Fabric den einheitlichen Datenzugriff, die Governance und die Zusammenarbeit in der gesamten Datenstruktur sicher.

    Die Integrationslaufzeit in Data Factory, das lokale Datengateway in Fabric und das Virtuelle Netzwerkdatengateway bieten sichere Konnektivitäts- und Datenintegrationsfunktionen in cloud-, lokalen und virtuellen Netzwerkumgebungen.

  • Azure Data Box Gateway dient zum Übertragen von Daten in und aus Azure. Hierbei handelt es sich allerdings nicht um eine Festplatte, sondern um eine virtuelle Appliance. Virtuelle Computer (VMs), die sich in Ihrem lokalen Netzwerk befinden, schreiben Daten mithilfe der Protokolle Network File System (NFS) und Server Message Block (SMB) in Data Box Gateway. Anschließend überträgt das Gerät Ihre Daten an Azure.

Wichtige Auswahlkriterien

Wählen Sie für Datenübertragungsszenarien das richtige System für Ihre Anforderungen aus, indem Sie die folgenden Punkte berücksichtigen:

  • Ermitteln Sie, ob Sie große Datenmengen transferieren müssen und die Übertragung dieser Daten über eine Internetverbindung zu lange dauern, unzuverlässig sein oder zu teuer sein würde. Falls ja, ziehen Sie eine physische Übertragung in Betracht.

  • Ermitteln Sie, ob Sie Ihre Datenübertragungsaufgaben lieber skripten möchten, damit sie wiederverwendbar sind. Wenn ja, wählen Sie eine der Befehlszeilenoptionen oder data Factory aus.

  • Ermitteln Sie, ob Sie eine große Datenmenge über eine Netzwerkverbindung übertragen müssen. Wenn ja, wählen Sie eine Option aus, die für Big Data optimiert ist.

  • Ermitteln Sie, ob Sie Daten in oder aus einer relationalen Datenbank übertragen müssen. Falls ja, entscheiden Sie sich für eine Option, die mindestens eine relationale Datenbank unterstützt. Einige dieser Optionen erfordern auch einen Hadoop-Cluster.

  • Ermitteln Sie, ob Ihre Daten eine automatisierte Pipeline oder Workflow-Orchestrierung benötigen. Falls ja, empfiehlt sich die Verwendung von Data Factory.

Funktionsmatrix

In den folgenden Tabellen sind die Hauptunterschiede der Funktionen zusammengefasst:

Physische Übertragung

Fähigkeit Der Azure Import/Export-Dienst Datenbox
Formfaktor Interne SATA-HDDs oder -SDDs Einzelne sichere und manipulationsgeschützte Hardwareappliance
Von Microsoft verwaltete Versandlogistik Nein Ja
Integriert sich mit Partnerprodukten Nein Ja
Angepasste Appliance Nein Ja

Befehlszeilentools

Die folgenden Tools sind mit Hadoop und HDInsight kompatibel.

Fähigkeit DistCp Sqoop Hadoop-CLI
Für Big Data optimiert Ja Ja Ja
Kopieren in relationale Datenbank Nein Ja Nein
Kopieren aus relationaler Datenbank Nein Ja Nein
Kopieren in Blob Storage Ja Ja Ja
Kopieren aus Blob Storage Ja Ja Nein
Kopieren in Data Lake Storage Ja Ja Ja
Kopieren aus Data Lake Storage Ja Ja Nein

Die folgende Tabelle enthält allgemeine Tools zur Datenübertragung.

Fähigkeit Die Azure-CLI AzCopy Azure PowerShell PolyBase
Kompatible Plattformen Linux, OS X, Windows Linux, Windows Fenster SQL Server
Für Big Data optimiert Nein Ja Nein Ja 1
Kopieren in relationale Datenbank Nein Nein Nein Ja
Kopieren aus relationaler Datenbank Nein Nein Nein Ja
Kopieren in Blob Storage Ja Ja Ja Ja
Kopieren aus Blob Storage Ja Ja Ja Ja
Kopieren in Data Lake Storage Nein Ja Ja Ja
Kopieren aus Data Lake Storage Nein Nein Ja Ja

1PolyBase-Leistung kann verbessert werden , indem die Berechnung an Hadoop übertragen und PolyBase-Skalierungsgruppen verwendet werden, um die parallele Datenübertragung zwischen SQL Server-Instanzen und Hadoop-Knoten zu ermöglichen.

Grafische Oberflächen, Datensynchronisierung und Datenpipelines

Fähigkeit Storage Explorer Das Azure-Portal 2 Datenfabrik Datenbox-Gateway Dataflows
Für Big Data optimiert Nein Nein Ja Ja Ja
Kopieren in relationale Datenbank Nein Nein Ja Nein Ja
Kopieren aus relationaler Datenbank Nein Nein Ja Nein Ja
Kopieren in Blob Storage Ja Nein Ja Ja Ja
Kopieren aus Blob Storage Ja Nein Ja Nein Ja
Kopieren in Data Lake Storage Nein Nein Ja Nein Ja
Kopieren aus Data Lake Storage Nein Nein Ja Nein Ja
Hochladen in Blob Storage Ja Ja Ja Ja Ja
Hochladen in Data Lake Storage Ja Ja Ja Ja Ja
Orchestrieren von Datenübertragungen Nein Nein Ja Nein Ja
Benutzerdefinierte Datentransformationen Nein Nein Ja Nein Ja
Preismodell Kostenlos Kostenlos Nutzungsbasierte Bezahlung Bezahlung je Einheit Nutzungsbasierte Bezahlung

2 Das Azure-Portal in diesem Fall stellt die webbasierten Explorationstools für Blob Storage und Data Lake Storage dar.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautor:

Andere Mitwirkende:

Um nicht-öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächster Schritt

  • Last updated on