Kopiowanie danych z platformy Netezza przy użyciu usługi Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano sposób używania działania kopiowania w potokach usługi Azure Data Factory lub Synapse Analytics do kopiowania danych z platformy Netezza. Artykuł opiera się na działaniu kopiowania, które przedstawia ogólne omówienie działania kopiowania.

Obsługiwane możliwości

Ten łącznik Netezza jest obsługiwany w następujących możliwościach:

(1) Środowisko Azure Integration Runtime (2) Self-hosted Integration Runtime

Aby uzyskać listę magazynów danych obsługiwanych przez działanie kopiowania jako źródła i ujścia, zobacz Obsługiwane magazyny danych i formaty.

Ten łącznik Netezza obsługuje:

• Równoległe kopiowanie ze źródła. Aby uzyskać szczegółowe informacje, zobacz sekcję Parallel copy from Netezza (Kopiowanie równoległe z platformy Netezza ).
• Netezza Performance Server w wersji 11.
• Wersje systemu Windows w tym artykule.

Usługa udostępnia wbudowany sterownik umożliwiający łączność. Nie musisz ręcznie instalować żadnego sterownika, aby korzystać z tego łącznika.

W wersji 2.0 należy ręcznie zainstalować sterownik IBM Netezza ODBC . W wersji 1.0 usługa udostępnia wbudowany sterownik umożliwiający łączność. Nie musisz ręcznie instalować żadnego sterownika, aby korzystać z tego łącznika.

Prerequisites

Jeśli magazyn danych znajduje się wewnątrz sieci lokalnej, sieci wirtualnej platformy Azure lub chmury prywatnej Amazon Virtual, musisz skonfigurować własne środowisko Integration Runtime , aby się z nim połączyć.

Aby uzyskać więcej informacji na temat mechanizmów zabezpieczeń sieci i opcji obsługiwanych przez usługę Data Factory, zobacz Strategie dostępu do danych.

Dla wersji 1.0

Jeśli magazyn danych jest zarządzaną usługą danych w chmurze, możesz użyć środowiska Azure Integration Runtime. Jeśli dostęp jest ograniczony do adresów IP zatwierdzonych w regułach zapory, możesz dodać adresy IP środowiska Azure Integration Runtime do listy dozwolonych.

Możesz również użyć funkcji środowiska Integration Runtime zarządzanej sieci wirtualnej w usłudze Azure Data Factory, aby uzyskać dostęp do sieci lokalnej bez instalowania i konfigurowania własnego środowiska Integration Runtime.

Zainstaluj sterownik Netezza ODBC dla wersji 2.0

Aby użyć łącznika Netezza w wersji 2.0, zainstaluj sterownik IBM Netezza ODBC w wersji 11.02.02 lub nowszej na maszynie z uruchomionym własnym środowiskiem Integration Runtime.

Wprowadzenie

Potok, który używa działania kopiowania, można utworzyć przy użyciu zestawu SDK platformy .NET, zestawu SDK języka Python, programu Azure PowerShell, interfejsu API REST lub szablonu usługi Azure Resource Manager. Zapoznaj się z samouczkiem dotyczącym działania kopiowania, aby uzyskać instrukcje krok po kroku dotyczące tworzenia potoku z działaniem kopiowania.

Tworzenie połączonej usługi z platformą Netezza przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z platformą Netezza w interfejsie użytkownika witryny Azure Portal.

1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj pozycję Netezza i wybierz łącznik Netezza.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach, których można użyć do definiowania jednostek specyficznych dla łącznika Netezza.

Właściwości połączonej usługi

Łącznik Netezza obsługuje teraz wersję 2.0. Zapoznaj się z tą sekcją , aby uaktualnić wersję łącznika Netezza z wersji 1.0. Aby uzyskać informacje szczegółowe dotyczące nieruchomości, zobacz odpowiednie sekcje.

• Wersja 2.0
• w wersji 1.0

Wersja 2.0

Połączona usługa Netezza obsługuje następujące właściwości w przypadku zastosowania wersji 2.0:

Example

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
	        "port": "<port>",
            "database": "<database>",
 		    "uid": "<username>",
		    "pwd": {
                "type": "SecureString",
                "value": "<password>"
             },
		    "securityLevel": "preferredUnSecured"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Wersja 1.0

Następujące właściwości są obsługiwane w przypadku połączonej usługi Netezza w przypadku zastosowania wersji 1.0:

Typowy parametry połączenia to Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>. W poniższej tabeli opisano więcej właściwości, które można ustawić:

Example

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Przykład: przechowywanie hasła w usłudze Azure Key Vault

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Ta sekcja zawiera listę właściwości, które obsługuje zestaw danych Netezza.

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz Zestawy danych.

Aby skopiować dane z netezza, ustaw właściwość type zestawu danych na NetezzaTable. Obsługiwane są następujące właściwości:

Example

{
    "name": "NetezzaDataset",
    "properties": {
        "type": "NetezzaTable",
        "linkedServiceName": {
            "referenceName": "<Netezza linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Właściwości działania kopiowania

Ta sekcja zawiera listę właściwości, które obsługuje źródło Netezza.

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz Pipelines (Potoki).

Netezza jako źródło

Aby skopiować dane z netezza, ustaw typ źródła w działaniu kopiowania na NetezzaSource. Następujące właściwości są obsługiwane w sekcji Źródło działania kopiowania:

Example:

"activities":[
    {
        "name": "CopyFromNetezza",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Netezza input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "NetezzaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Kopiowanie równoległe z Netezza

Łącznik Netezza usługi Data Factory zapewnia wbudowane partycjonowanie danych w celu równoległego kopiowania danych z platformy Netezza. Opcje partycjonowania danych można znaleźć w tabeli Źródłowe działania kopiowania.

Po włączeniu kopii partycjonowanej usługa uruchamia zapytania równoległe względem źródła Netezza w celu załadowania danych według partycji. Stopień równoległy jest kontrolowany przez parallelCopies ustawienie działania kopiowania. Jeśli na przykład ustawiono parallelCopies wartość cztery, usługa jednocześnie generuje i uruchamia cztery zapytania na podstawie określonej opcji partycji i ustawień, a każde zapytanie pobiera część danych z bazy danych Netezza.

Zaleca się włączenie kopiowania równoległego przy użyciu partycjonowania danych, szczególnie w przypadku ładowania dużej ilości danych z bazy danych Netezza. Poniżej przedstawiono sugerowane konfiguracje dla różnych scenariuszy. Podczas kopiowania danych do magazynu danych opartego na plikach zaleca się zapisywanie w folderze jako wielu plików (tylko określ nazwę folderu), w tym przypadku wydajność jest lepsza niż zapisywanie w jednym pliku.

Przykład: zapytanie z partycją fragmentowania danych

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>",
    "partitionOption": "DataSlice"
}

Przykład: zapytanie z partycją zakresu dynamicznego

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Mapowanie typów danych dla Netezza

Podczas kopiowania danych z Netezza stosowane są następujące mapowania z typów danych Netezza do wewnętrznych typów danych używanych przez usługę. Aby dowiedzieć się, jak działanie kopiowania mapuje schemat źródłowy i typ danych na docelowy, zobacz Mapowanie schematu i typu danych.

Właściwości działania wyszukiwania

Aby dowiedzieć się więcej o właściwościach, sprawdź działanie Wyszukiwania.

Cykl życia i uaktualnianie łącznika Netezza

W poniższej tabeli przedstawiono etap wydania i dzienniki zmian dla różnych wersji łącznika Netezza:

Uaktualnianie łącznika Netezza z wersji 1.0 do wersji 2.0

1. Na stronie Edytowanie połączonej usługi wybierz wersję 2.0. Aby uzyskać więcej informacji, zobacz właściwości połączonej usługi w wersji 2.0.
2. Mapowanie typu danych dla połączonej usługi Netezza w wersji 2.0 różni się od tego dla wersji 1.0. Aby dowiedzieć się więcej na temat najnowszego mapowania typów danych, zobacz Mapowanie typów danych dla netezza.
3. Wspiera tylko samodzielnie hostowane środowisko Integration Runtime. Środowisko Azure Integration Runtime nie jest obsługiwane przez wersję 2.0.

Treści powiązane

Aby uzyskać listę magazynów danych obsługiwanych przez działanie kopiowania jako źródła i ujścia, zobacz Obsługiwane magazyny danych i formaty.