Kopiowanie i przekształcanie danych z programu Hive przy użyciu usługi Azure Data Factory

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano sposób używania działania kopiowania w potoku usługi Azure Data Factory lub Synapse Analytics do kopiowania danych z programu Hive. Jest on oparty na artykule omówienie działania kopiowania, który przedstawia ogólne omówienie działania kopiowania.

Obsługiwane możliwości

Ten łącznik programu Hive jest obsługiwany w następujących funkcjach:

(1) Środowisko Azure Integration Runtime (2) Self-hosted Integration Runtime

Aby uzyskać listę magazynów danych obsługiwanych jako źródła/ujścia przez działanie kopiowania, zobacz tabelę Obsługiwane magazyny danych.

Usługa udostępnia wbudowany sterownik umożliwiający łączność, dlatego nie trzeba ręcznie instalować żadnego sterownika przy użyciu tego łącznika.

Łącznik obsługuje wersje systemu Windows w tym artykule.

Wymagania wstępne

Jeśli magazyn danych znajduje się wewnątrz sieci lokalnej, sieci wirtualnej platformy Azure lub chmury prywatnej Amazon Virtual, musisz skonfigurować własne środowisko Integration Runtime , aby się z nim połączyć.

Jeśli magazyn danych jest zarządzaną usługą danych w chmurze, możesz użyć środowiska Azure Integration Runtime. Jeśli dostęp jest ograniczony do adresów IP zatwierdzonych w regułach zapory, możesz dodać adresy IP środowiska Azure Integration Runtime do listy dozwolonych.

Możesz również użyć funkcji środowiska Integration Runtime zarządzanej sieci wirtualnej w usłudze Azure Data Factory, aby uzyskać dostęp do sieci lokalnej bez instalowania i konfigurowania własnego środowiska Integration Runtime.

Aby uzyskać więcej informacji na temat mechanizmów zabezpieczeń sieci i opcji obsługiwanych przez usługę Data Factory, zobacz Strategie dostępu do danych.

Wprowadzenie

Aby wykonać działanie kopiowania za pomocą pipeline'u, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

• Narzędzie do kopiowania danych
• Portal Azure
• zestawu SDK platformy .NET
• Zestaw SDK dla języka Python
• Azure PowerShell
• API REST
• Szablon usługi Azure Resource Manager

Tworzenie połączonej usługi z usługą Hive przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z usługą Hive w interfejsie użytkownika witryny Azure Portal.

1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

   • Azure Data Factory
   • Azure Synapse

   

2. Wyszukaj pozycję Hive i wybierz łącznik Hive.

   

3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

   

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek usługi Data Factory specyficznych dla łącznika hive.

Właściwości połączonej usługi

Łącznik hive obsługuje teraz wersję 2.0. Zapoznaj się z tą sekcją, aby uaktualnić wersję łącznika Hive z wersji 1.0. Aby uzyskać informacje szczegółowe dotyczące nieruchomości, zobacz odpowiednie sekcje.

• Wersja 2.0
• w wersji 1.0

Wersja 2.0

Połączona usługa Hive obsługuje następujące właściwości w przypadku zastosowania wersji 2.0:

Przykład:

{
    "name": "HiveLinkedService",
    "properties": {
        "type": "Hive",
        "version": "2.0",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "WindowsAzureHDInsightService",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "serverType": "HiveServer2",
            "thriftTransportProtocol": "HTTP",
            "enableSsl": true,
            "enableServerCertificateValidation": true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Wersja 1.0

Następujące właściwości są obsługiwane w przypadku połączonej usługi Hive w przypadku zastosowania wersji 1.0:

Przykład:

{
    "name": "HiveLinkedService",
    "properties": {
        "type": "Hive",
        "typeProperties": {
            "host" : "<cluster>.azurehdinsight.net",
            "port" : "<port>",
            "authenticationType" : "WindowsAzureHDInsightService",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

Właściwości zestawu danych

Pełna lista sekcji i właściwości dostępnych do definiowania zestawów danych znajduje się w artykule dotyczącym zestawów danych. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych Hive.

Aby skopiować dane z programu Hive, ustaw właściwość type zestawu danych na HiveObject. Obsługiwane są następujące właściwości:

Przykład

{
    "name": "HiveDataset",
    "properties": {
        "type": "HiveObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Hive linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez źródło programu Hive.

HiveSource jako źródło

Aby skopiować dane z programu Hive, ustaw typ źródła w działaniu kopiowania na hiveSource. Następujące właściwości są obsługiwane w sekcji źródło działania kopiowania:

Przykład:

"activities":[
    {
        "name": "CopyFromHive",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Hive input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "HiveSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Właściwości przepływu mapowania danych

Łącznik hive jest obsługiwany jako wbudowane źródło zestawu danych w przepływach danych mapowania. Odczyt przy użyciu zapytania lub bezpośrednio z tabeli programu Hive w usłudze HDInsight. Dane programu Hive są etapowane na koncie magazynu jako pliki parquet przed przekształceniem w ramach przepływu danych.

Właściwości źródła

W poniższej tabeli wymieniono właściwości obsługiwane przez źródło hive. Te właściwości można edytować na karcie Opcje źródła.

Przykład źródła

Poniżej przedstawiono przykład konfiguracji źródła programu Hive:

Te ustawienia przekładają się na następujący skrypt przepływu danych:

source(
    allowSchemaDrift: true,
    validateSchema: false,
    ignoreNoFilesFound: false,
    format: 'table',
    store: 'hive',
    schemaName: 'default',
    tableName: 'hivesampletable',
    staged: true,
    storageContainer: 'khive',
    storageFolderPath: '',
    stagingDatabaseName: 'default') ~> hivesource

Znane ograniczenia

• Typy złożone, takie jak tablice, mapy, struktury i związki, nie są obsługiwane do odczytu.
• Łącznik Hive obsługuje tylko tabele hive w usłudze Azure HDInsight w wersji 4.0 lub nowszej (Apache Hive 3.1.0)
• Domyślnie sterownik Programu Hive udostępnia element "tableName.columnName" w ujściu. Jeśli nie chcesz wyświetlać nazwy tabeli w nazwie kolumny, istnieją dwa sposoby rozwiązania tego problemu. a. Sprawdź ustawienie "hive.resultset.use.unique.column.names" po stronie serwera Hive i ustaw wartość false. b. Użyj mapowania kolumn, aby zmienić nazwę kolumny.

Mapowanie typów danych dla programu Hive

Podczas kopiowania danych z i do programu Hive w usłudze są używane następujące tymczasowe mapowania typów danych. Aby dowiedzieć się, jak działanie kopiowania mapuje schemat źródłowy i typ danych na docelowy, zobacz Mapowanie schematu i typu danych.

Właściwości działania wyszukiwania

Aby dowiedzieć się więcej o właściwościach, sprawdź działanie Wyszukiwania.

Cykl życia i aktualizacja łącznika Hive

W poniższej tabeli przedstawiono etap wydania i dzienniki zmian dla różnych wersji łącznika hive:

Zaktualizuj łącznik Hive z wersji 1.0 do wersji 2.0

1. Na stronie Edytowanie połączonej usługi wybierz wersję 2.0 i skonfiguruj połączoną usługę, odwołując się do właściwości połączonej usługi w wersji 2.0.

2. Mapowanie typu danych dla połączonej usługi Hive w wersji 2.0 różni się od tego dla wersji 1.0. Aby dowiedzieć się więcej na temat najnowszego mapowania typów danych, zobacz Mapowanie typów danych dla programu Hive.

3. Zastosuj samodzielnie hostowane środowisko Integration Runtime w wersji 5.54 lub nowszej.

Powiązana zawartość

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia działania kopiowania, zobacz obsługiwane magazyny danych.