Udostępnij przez


Porównanie opcji magazynu dla klastrów usługi Azure HDInsight

Podczas tworzenia klastrów usługi HDInsight można wybrać między kilkoma różnymi usługami Azure Storage:

Ten artykuł zawiera omówienie tych typów magazynu i ich unikatowych funkcji.

Typy i funkcje magazynu

Poniższa tabela zawiera podsumowanie usług Azure Storage obsługiwanych w różnych wersjach usługi HDInsight:

Usługa magazynu Typ konta Typ przestrzeni nazw Obsługiwane usługi Obsługiwane warstwy wydajności Obsługiwane warstwy dostępu Wersja usługi HDInsight Typ klastra
Azure Data Lake Storage Gen2 Ogólnego przeznaczenia wersja 2 Hierarchiczny (system plików) Obiekt blob Standard Gorący, Chłodny, Archiwum wszystkie Wszystkie z wyjątkiem platform Spark 2.1 i 2.2
Azure Storage Ogólne przeznaczenie V2 Objekt Blob Standard Gorąca, Chłodna i Archiwum wszystkie wszystkie
Azure Storage Ogólnego przeznaczenia wersja 1 Objekt Obiekt binarny dużych rozmiarów Standard Nie dotyczy wszystkie wszystkie
Azure Storage Blob Storage** Objekt Block Blob Standard Gorące, Chłodne, Archiwalne wszystkie wszystkie
Usługa Azure Data Lake Storage 1. generacji Nie dotyczy Hierarchiczny (system plików) Nie dotyczy Nie dotyczy Nie dotyczy wszystkie Wszystkie z wyjątkiem bazy danych HBase
Azure Storage Blob blokowy Objekt Blokowy obiekt blob Wysokiej Jakości Nie dotyczy wszystkie Tylko HBase z przyspieszonym zapisem
Azure Data Lake Storage Gen2 Blokowy obiekt blob Hierarchiczny (system plików) Block Blob Premium Nie dotyczy wszystkie Tylko HBase z przyspieszonymi zapisami

W przypadku klastrów usługi HDInsight tylko konta magazynu drugorzędnego mogą być typu BlobStorage, a stronicowy obiekt blob nie jest obsługiwaną opcją przechowywania.

Aby uzyskać więcej informacji na temat typów kont usługi Azure Storage, zobacz Omówienie konta usługi Azure Storage

Aby uzyskać więcej informacji na temat warstw dostępu usługi Azure Storage, zobacz Azure Blob Storage: Premium (wersja zapoznawcza), Warstwy magazynowania Gorąca, Chłodna i Archiwum

Klastry można tworzyć, używając kombinacji usług na potrzeby magazynu podstawowego oraz opcjonalnego magazynu pomocniczego. Poniższa tabela zawiera podsumowanie konfiguracji magazynu klastra, które są obecnie obsługiwane w usłudze HDInsight:

Wersja usługi HDInsight Magazyn podstawowy Magazyn pomocniczy Wspierane
4.0, 5.0, 5.1 Ogólnego przeznaczenia w wersji 1, ogólnego przeznaczenia w wersji 2 Ogólnego przeznaczenia, wersja 1, ogólnego przeznaczenia, wersja 2, obiekt blobStorage (blokowe obiekty blob) Tak
4.0, 5.0, 5.1 Ogólnego przeznaczenia wersja 1, ogólnego przeznaczenia wersja 2 Usługa Data Lake Storage 2. generacji Nie.
4.0, 5.0, 5.1 Usługa Data Lake Storage 2. generacji Usługa Data Lake Storage 2. generacji Tak
4.0, 5.0, 5.1 Data Lake Storage Gen2* Ogólnego przeznaczenia, wersja 1, ogólnego przeznaczenia, wersja 2, obiekt blobStorage (blokowe obiekty blob) Tak
4.0, 5.0, 5.1 Usługa Data Lake Storage 2. generacji Data Lake Storage Gen1 Nie.
4.0, 5.0, 5.1 Data Lake Storage Gen1 Data Lake Storage Gen1 Tak
4.0, 5.0, 5.1 Data Lake Storage Gen1 Ogólnego Przeznaczenia V1, Ogólnego Przeznaczenia V2, BlobStorage (Block Blobs) Tak
4.0, 5.0, 5.1 Data Lake Storage Gen1 Usługa Data Lake Storage 2. generacji Nie.
4.0, 5.0, 5.1 Ogólnego Przeznaczenia V1, Ogólnego Przeznaczenia V2 Data Lake Storage Gen1 Nie.

*=Może to być jedna lub wiele usług Data Lake Storage Gen2, o ile wszystkie są skonfigurowane do używania tej samej tożsamości zarządzanej na potrzeby dostępu do klastra.

Uwaga

Magazyn podstawowy usługi Data Lake Storage Gen2 nie jest obsługiwany w przypadku klastrów platformy Spark 2.1 lub 2.2.

Replikacja danych

Usługa Azure HDInsight nie przechowuje danych klientów. Podstawowym sposobem przechowywania dla klastra są skojarzone konta magazynu. Klaster można dołączyć do istniejącego konta magazynu lub utworzyć nowe konto magazynu podczas procesu tworzenia klastra. Jeśli zostanie utworzone nowe konto, będzie to konto magazynu lokalnie redundantne (LRS) i będzie spełniać wymagania dotyczące rezydencji danych w regionie, w tym te określone na globalnej stronie infrastruktury platformy Azure.

Możesz sprawdzić, czy HDInsight jest prawidłowo skonfigurowane do przechowywania danych w jednym regionie, upewniając się, że konto storage skojarzone z HDInsight jest typu LRS lub inną opcją storage wymienioną na stronie globalnej infrastruktury Azure.

Uwaga

Uaktualnianie podstawowego lub pomocniczego konta magazynu uruchomionego klastra z możliwościami usługi Azure Data Lake Storage Gen2 nie jest obsługiwane. Aby zmienić typ magazynu istniejącego klastra usługi HDInsight na usługę Data Lake Storage Gen2, należy ponownie utworzyć klaster i wybrać konto magazynu z włączoną hierarchiczną przestrzenią nazw.

Następne kroki